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Beschreibung 



Das Verfahren zur .automatischen Erzeugung von fraktal hierarchischen Netzen rvter Ordnung" wind 
im folgenden Sinne erweitert: Der bisher als statisch betrachteter Merkmalsraum wird dynamisch und 
unteriiegt damit der Evolution: Die hterarchische Vemetztmg erstreckt sich nicht mehr nur auf einen 
Zustand von Objekten (bzw. Netzen und TeHnetzen), sondem auch uber die Evolution von Zustanden, 
Objekten, wie auch Objektnetzen. 

Die Achsen des dynamtschen Merkmalsraumes stellen Zustande oder evolutionare Abfolgen von 
Zustanden, von Klassenhierarchien und Kiassen dar, wobei die herkommlichen Merkmale in 
evolution^r verSnderbaren Unterraumefr dieses Merkmalsraumes abgebildet wenjen. Vorschriften sind 
Attraktoren im evolution Sr ver&nderbaren Merkmalsraum (der Merkmalsraum organisiert sich als 
evolutions veranderbate^ und fraktal hierarchisch aufgespannter Merkmalsraum). Dieser dynamischer 
Merkmalsraum wird zur Evolution und Extraktion von .Objects of Interest" benutzt, d.h. damit kann 
gezielt nach Objekten gesuchf werden, deren Extraktion die Aufgabenstellung eines 
Analyseprozesses ist. 

Wahrend der Evolution of .Objects of Interest" entsteht .Metawissen.. Dieses Metawissen beschreibt 
die momentanen Klassenzuordnungen von .Metaobjekten .of Interest", die Entwicklung dieser 
Klassenzuordnungeir und die Evidenz von Kiassenhierarchtert und deren Entwicklung. D.h. Evolution 
jerfolgt durch die Anwendung aufeinanderfolgender Klassiftkationen und Klassifikationsvorschriften 
[(wobei Klassifikationsvorschriften auch strukturbildende Prozesse sein konnen) d.h. als 
Entstehungsprozefc und Entstebungsgeschichte der .Objects of Interest" Oder als Entstehungsprozefc 
und Entstehungsgeschichte deren Nachbarschaft. 

Abbruchkriterien fur den EvokitionsprozeG werden uber Anwendungsvorschrift definiert, die damit 
selbst ein wesertf liche Merkmate von .Objects of Interest" sind. 

Die sequentielie Zuordnung wahrend des Evolutionsprozesses von .Objekten" zu .Metobjects of 
Interest" oder zu .Meta-Kontext" of Objects of Interest, ist ebenfafls ein wesentliches Merkmal des 
Objects of Interest. 

- .Meta Objects of Interest" oder .Meta Classes of Interest" sind als die Objekte und Klassen zu 
definieren, welche als evolutionare Zwischenzustande- der zu extrahierenden .Objects of 
Interest" wahrend der Entwicklungsstadien dieser .Objects of Interest" entstehen. 

Die evolutionare Entwicklung von .Meta Objects of Interest" oder .Context Objects of Interest" 
sind Merkmaledes Objects of Interest. 

Das .Object of Interest" kann uber die Evolution der Nachbarschaft (d.h. der evolutionar 
verSnderbaren Nachbarschaft). entstehen. 

- Fixklassen sind Klassen, deren Objekte Ziel einer Objektevolution sein konnen, aber selbst 
nicht mehr an der Evolution teilnehmen. 

Die Classification based Object Evolution wird als Dreiecksprozess zwischen verschiedenen 
klassifizierten Objekten und deren Klassen aufgefa&t. Eine Gruppe bilden die Seed Objects 
(Keimobjekte), die als Startobjekte der Evolution dienen. Die zweite Gruppe sind die Candidate 
Objects, die mdgliche Kandidaten fur eine morphologische/strukturbildende Operation mit den 
benachbarten Seed Objects sind. Altemativ konnen auch andere Seed oder Target Objects als 
Candidate Objects verwendet werden. 

Die neu entstandenen Objekte (.Object of Interest") werden an Hand einer dritten Gruppe von 
Klassen, den Target Classes (.Class of Interest") klassifiziert. Ein Optimierungskriteriums (Optimized 
Fit) ermittelt die^ optimale Kombination eines Seed Objects mrt seinen benachbarten Candidate 
Objects. 

Verschiedenen morphologisehe Operation kOnnen parallel, nacheinander oder konkurrierend bei der 
Ermittlung der optimalen Kombination eingesetzt werden. 



A 



Classification based 
Object Evolution 
(Triangle Process) 




In einem rterativen ProzeB, der Objekt-Evolution, wertien die neu entstandenen Traget Objects als 
Seed Objects einer neuen Iteration des Dreiecksprozesses eingesetzt. Die Zugehorigkeit eines Target 
C-y Objects zu seiner Target Klasse nach jedem Evolutionsschritt wird im Vergleich zum Ergebnis der 

vorherigen Stufe optimiert Der. EvoluttonsprozeS stoppt, sobald keine. Optimierung der einzelnen 
^ Target Objects durch eine rrrorphdogtscbe Operation mehr moglich ist. Seed Object, die nie der 
Evolution unterliegen bleiben Seed Objects. 

Die ZugehOhrigkeit eines auf diese Weise der Evolution unterworfenes Target Objects zu einer Target 
Class kann nach jedem Evolutionssschritt zu einer anderen Target Class wechseln. 

Seed Oder Target Objects, die zwischen zwei aufeinander folgenden Evolutionsschritten als Fix 
Objects klassifiziert werden konnen, unterliegen keiner weiteren Evolution . 



3 



Object Evolution 



Start classes / objects Mela classes / objects Target classes / objects 




Um die Evolution von Keimob[ekt zum Target zusteuem, kpnnen Zwisehen - bzw. Metazustande Oder 
mjm Metaklassen definiert werden, wetehe das Objekt auf den Weg zum Target annehmen kann. Dieses 
^^■ermoglicht die Gewtchtung von Merkmaien, da manche Merkmale erst ab Erreichen bestimmter 
^^pedingungen wichtig fur die Identifizierung einer Klasse werden; So kommt es zur evolutionaren 

Entwicklung von Merkmalprofiten (dynamisches Merkmalsprofil) von Klassen und Objekten (d.h. uber 

die Merkmale von Metakfassen>, die das Wachstums- oder Schrumpfungsstadium eines Objektes 

innerhalb des Bildes beschreiben konnen. 

Durch relational AbhSngigkert einzelner Keim-, Kandidaten- bzw. ..Classes of Interest" untereinander 
kann eine gezielte Steuerung der Evolution eines Bildobjektes, d.h. der Entwicklungsgeschichte 
erreicht werden. Damit kann Wissen uber opttmale Strategies Oder Kombinationen von miteinander 
kooperierenden oder konkumerenden Strategien gewonnen werden, die fur nachfolgende ahnliche 
Aufgaben als Primaransatz zur Objektevolution genutzt werden. 

Zur Vermeidung lokaler Optima wahrend der Objektevolution kann rricht nur der optimale 
Evolutionspfad, d.h. die Entwicklungsgeschichte, verfolgt werden und sondem auch andere 
suboptimale Pfade. Die Zugehorigkeit eines ^Object of Interest" zu einer .Glass of Interest" wind am 
Ende jedes Pfades vergRchen un&dasErgebnis des optimate Pfades bleibt bestehen. Die Optimalitat 
definiert sich uber die AhnRchkeit zur Zielklasse (Target) oder die Lange bzw. Geschwindigkeit des 
Pfades mit dem die Zielklasse erreicht wird. 

?9 v Die Suche im Merkmalsraum wird uber vordefmierten ..Metaklassen" als w charakteristische" 
Zwischenstadien" (Metaklassen) der Entwicklung eines Objektes gesteuert. Das ganze Verfahren stellt 
einen automatischen Prozess zur ..Simulation" von „Objekts of interest" dar. Es wird das gesuchte 
„Objekt" uber definierte J^wischenstationen" seines n Werdes" simuiiert. Dadurch werden n Wege" bzw. 
B Trajektorien" im Merkmalsraum ausgezeichnet und somit die „Suche" im mehrdimensionalen 
Merkmalsraum verefnfacht und schneller gemacht. Trajektorien werden bewertet, je nachdem wie oft 
sie frequentiert werden. Wird eine Trajektorie mehrmals von Metaobjekten oft frequentiert, so ist mehr 
zu bewerten als eme die weniger frequentiert wird. So kann das System dieses Wissen als Basis fur 
den Lernprozesses des Systems benutzen, Bevorzugt werden also oft frequentierte und zum Target 
fuhrende Trajektorien. Dieses Wissen ist fur das System als wertvoll zu bewerten und mit den 
Ergebnissen der Datenauswertung zu speichem und zu dokumentieren. 



Object Evolution 
in evolution steps and feature space 




Das Verfahren kann auf mehreren Hierarchieebenen und fur mehrere Targets, Seeds, Metaobjekts 
gleichzeitig ausgefuhrt werden. Bne Seed-Klasse kann zu mehreren^ Targets fuhren und umgekehrt. 
Trajektorien konnen sich im Merkmalsraum teilen und zu unterschiedlichen Targets fuhren. 
Konkurrenzen zwischen Klassen kdnnen untfdtirfen auftreten. 



Object Evolution 
Concurrent in different levels 




Object Evolution runs concurrently on different levels and within 

one level 



Anwendungsbeispiel: 

Ein Bild wini durch ein Segmentationsverfahren in ein fraktal hierarchisches Netz von Bildobjekten 
unterteilt Diese Bildobjekte konnen Gber ihre Bgenschaften klassifiziert wertlen. Fur Bildobjekte 
werden morphologische bzw. strukturbildende Operationen deftniert, wie z.B.: 

1.) Dilation/Erosion: 

Die klassifikationsbasierte dynamische und automatische Dilation (Wachstum) ist die Vereinigung 
eines Seed Objects mit benachbarten Candidate Objects. Die klassifikationsbasierte Erosion 
(Schrumpfung) ist eine Subtraktion von Candidate Objects einer niedrigeren AuflOsungsebene von 
einem Seed Object auf emer hdheren Ebene. Der Optimized Fit kann z.B. als Fit All (alle Candidate 
Objects mit dem Seed Object), Best Fit (beste Kombination von Seed und einem Candidate Object) 
und Mutual Best Fit (beste Kombination von Seed und einem Candidate Object unter gegenseitiger 
Bestpassung andefer Seed Objects mit diesem Candidate Object) reafisiert sein. Erosion und Dilation 
kSnnen in einem Evolutionsscbritt ats konkurrierende Prozesse reatisiert werden. Prinzipiell konnen 
auch mehrere Erosionsprozesse zueinander in Konkurrenz auftreten, genauso Dilatationsprozesse. 



2.) Watershed Transformation (Wasserscheidentransformation): 

Das Fractal Hierachische Netz der Objekte wird als 3 dimensionate Landschaft P(X, Y, Z) betrachtet. 
Das Nachbarschaftsnetz der Seed Objects in einer Ebene spannt die Dimensionen X und Y auf. Die 
dritte Dimension Z ist Klassenzugehorigkeitfunktion der Objekte zu einer Kiasse, die sich aus der 



Kombination der Zugehdrigkeitsfunktionen mittels fuzzy Operatoren der die Klassen definierenden 
Merkmale ergibt 

In dieser dreidimensionale Landschaft werden die lokalen Minima der Klassenzugehorigkeitfunktion Z 
virtuell mit einer Flussigkeit geflutet, bis em defmierter Teil Oder die ganze Landschaft uberdeckt ist. 
Jedes einzelne lokale Minima der Seed Objects erzeugt eine neues Target Object (Flutungsbecken) 
im Netz auf einer hoheren (oder auf der gteichen) Ebene und alle von der virtuellen Flussigkeit 
uberdeckten benachbarten Candidate Objects werden damit verschmolzen. Das neue Target Object 
ist zu andem Objekten abgegrenzt durch die Wasserscheiden (Watershed) in der Landschaft und den 
konkurrierenden Einzugsbereich benachbarter Rutungsbecken. Falls das Target Object wShrend des 
Wachstums als Fix CTass klassifiziert werden kann, so stopped das Wachstum dieses Objekts. 



Object based Watershed Transformation 



Watershed 



Watershed 



Watershed 



Waterbasin 




Space X, Y 



Legend: Objects = 



Statt die Klassenzugehorigkeitfunktion Z, kann auch der Betrag der Gradienten der 
Klassezugehorigkeitfunktion Zc ra d zwischen benachbarter Seed Objects Zcrad = |(Zj - Zj)| (ij e Seed 
Objects) als 3. Dimension aufgefafct werden. Die lokalen Minima der Gradienten sind dann die 
Flutungsbecken der Wasserscheidentransformation. 

Im Gegensatz dazu verwenden die entsprechenden bekannten Verfahren der 
Wasserschetdentransfonmation pixelbasierte BHder und die Grau-/Farbwerte der Pixel zur 
Aufspannung der dreidimensionalen Landschaft. 

Die Objektbasierten Wasserscheidentransformation kann evolutions wiederum auf das resultieren 
Fraktal Hierachische Netz einer vortiergehenden Objektbasierten Wasserscheidentransformation 
angewendet werden und es entsteht eine Objekthierachie mit verschieden aufgelosten Ebenen. 

MGgliche Einsatzgebiete der Objektbasierten Wasserscheidentransformation sind: 
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• Die Suche nach lokalen Extrema der Klassezugehtirigkeitfunktion in einem Objektnetz. 

• Die Segmentierung von Objektnetzen an Hand der Klassenzugehorigkeitfunktion. (was ist eine 
Klassnzugehdrigkeitsfunktion? Eine ZugehCrigkeitsfunktion gibt an welche Bemente mit welchem 
Grad zu einer KJasse gehttren. Ist da ntcht etwas doppelt ? 

• Die Trennung eines Objekts (z.B. die Trerraung zwei sich uberlappender Zelien) an den konkaven 
Stellen seiner Begrenzung durch Ffutung der Objektiandschaft unter Verwendung des Merkmals, 
relative Distanz zur Begrenzung: des Superofagektes. 

3.) Anwendung der Classification based Object Evolution auf Zeitreihen wie z.B. Filmen: 
Die Classification based Object Evolution kann auch: auf Zeitreihen von Fraktal hierarchischen Netzen 
ahgewendet weixlea (z.B^Abfolge vonBHdem). Dabei werden Target Objects in einem Netz als Seed 
Objects fur die zeitiicfo fotgenden Netze verwendet; bzw. auch fur die: Kbtrektur der Evolution. Mit 
Evolution wird die jntrinsische ZeiT, welche zur Prozessierung eines Dreiecks-Prozesses in der 
Evblutionsachse abl^nfti wobet mit physikalische Zeit dte Zeit gemeint ist, welche deh Dreieckprozess 
in der physikal Time Achse beschreibt. Der Ubergang vobn Seed zum Target entlang der 
physikalische Zeitachse karm z.B. uber der Definition von geeigneten Obergangsklassen anhand von 
geeigneten Merkraaten wie z_B. Formmerkmalen realisiert werden. 



Object Evolution on time sequences of 
Fractal Hierarchical Wets 
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Seeds 




Entwicklung von Seeds zu Target uber 

Modellierung der Evolutionspfaden 

irhalb des dynamischen 

Merl3?!Sl*^^uines, Modellierung bzw. 

\ in i ii liinni SB \i\ i inplnm d< n Pfades 

^retargc 




Targets 







[etazustande, 
Metaklassen 



Targetklasse: runde Objekte. 

Objekten die den vorgezeichneten 
Pfad nicht bis zum Ende verfolgen 
konnen, gehen unterwegs verloren 






Attraktorklass 
en, runde 
Objekte 



Konnte noch als Beispiel dazu kommen.: 
Wie finde ich Schnuller 

Als optimaler Weg im Sinne von Geschwindigkeit und Treffsicherheit, konnte sich herausstellen. 

- starte mit kleinen Kreisen die konzentrisch wachsen, solange ausreichende Homogenitat 
gegeben ist. (metaobjekte der Klasse Kreis) 

Ausgehend von dem entstandenen Kreis wind die hohe Formhomogenitataufgegeben und ein 
kreisahntiches Gebttde rrrit Shniichem Flacheninhalt gesucht (Metaobjekte der Klasse 
..kreisahnlich") 

Ausgehend von dem entstandenen kreisahnlichen Gebilde wind ein Fortsatz mit einer 
bestimrnten Breite (Breite / Durchmesser des Kreises) gesucht 
Wind kein Fortsatz gefunden - stirbt das ObjekL 



WircJ ein Fortsatz gefunden wSchst der Fortsatz bis zu einem bestimmten 
Langen/Kreisdurchmesser. 

- 1st bis zu dem Maximalwert keine Verbreiterung in Sicht, wird abgebrochen 

- Sonst uber konzentrische Kreise der komplette Schnulier gefunden. 

Die supoptimalen Wege 

- Suche Geradenstuck mit groSem und kleinem benachbarten Kreis 

- suche ohne berucksFchtJgung der geometrischen ISngen/breitenverhaltnisse 

konnten uber ihre suboptimale Performance ausgeschieden sein. Sind aber noch im Gedachntnis 
vorhanden, da sie ja eigentlich zum Sel fuhrterv- Sie konnten fur leicht andere Aufgaben eventuell 
hitfreich sein. - Wissen ist adaptiv. 



Die Vielfaltigkeit der Auswertungsaufgaben in Cognition Networks erfordert ein einfaches aber 
hochflexibles und leistungsfahiges Verfahren, das es ermoglicht selbstandig komplexe 
Wissensextraktionen aus beliebigen Datenstrukturen (wie z.B. Bilddaten, Texte etc.) zu entwickeln. 

Im folgenden wird das Verfahren beispielhaft an Bilddaten beschrieben. 

Zentrale Anforderungen an Wissensextraktionsverfahren sind Stability Robustheit und 
Obertragbarkeit. Dafur mussen die eingesetzten Verfahren moglichst losgelGst von den konkreten 
„Eigenschaften" der Datenstrukturen (Farbwerte etc.) entwickelt werden und die Aufgabensteilung 
durch die Representation von ubergeordneten strukturellen, reiationalen und anderen stabilen, 
robusten und ubertragbaren n Eigenschaften" losen. 

Komplexe Wissensextraktionsverfahren erfordern sowohl n Pixel"- als auch ..Objekt" - basierte 
Analysen die wahlweise global als auch adaptiv und/oder lokal anwendbar seien mussen (Hybride 
Verfahren). 

In vielen Etnsatzgebieten, wie z.B. der medizinischen Bildanalyse, ist insbesondere die 
Automatisierung der Analyse von wesentlicher Bedeutung. 

Die Erstellung der Wissensextraktionsverfahren kann sowohl ohne eigene Programmierkenntnisse 
uber eine graphische Benutzerschnittstelle (GUI, Rapid Prototyping) als auch uber eine geeignete 
n Programmiersprache" erfolgen. 

Ein sehr al lqemeines Verfahren fur die Wissensreprasentation und -prozessierung wurde von der 

S1Q 



Definiens AG als M fraktales Netz n'ter Ordnung" bereits patentiert (DE 199 08 204 A 1). Derartige 
Netze werden weiteren als ..Cognition Networks" bezeichnet (das Patent im folgenden als P1). 

Eine Adaption dieser allgemeine Struktur wurde als n Verfahren zu Verarbeitung von 
Datenstrukturen" patentiert (DE 199 60 372 A1) (das Patent wird im folgenden als P2). Hier wird 
eine konkrete Auspragung eines fraktalen Netzes n-ter Ordnung beschrieben, die in der Lage ist, 
Datenstrukturen zu verarbeiten. Dazu dienen insbesondere nach Anspruch 15 
..Prozessierungsobjekte", die Algorithmen und Ablaufsteurungen enthalten, die auf semantischen 
Einheiten, zu denen eine Verknupfung besteht, wirken konnen. Nach Anspruch konnen 18 diese 
Prozessierungsobjekte an ein ..Klassenobjekt" geknupft sein und so lokale Prozessierungen 
ermGglichen. Dazu konnen die Prozessierungsobjekte nach Anspruch 35 auf eine Vielzahl von 
„Algorithmen" zuruckgreifen. 

GrofJe Teile diese Erfindung wurde in einer konkreten Softwareimpiementierung (eCognition) 
umgesetzt. FQr eine konkrete Realisierung der ..Prozessierungsobjekte" entlang der beschriebenen 
Konzepte scheiterte jedoch lange an dem Bruckenschlag von der allgemeinen Beschreibung von 
P1 und P2 zur konkreten Anwendung (eCognition). 

Insbesondere die Probleme der lokal adaptiven Prozessierung, der Ablaufsteuerung und der 
„Hybriditat" konnten nur in Ansatzen adressiert werden. 



Erste Ansatze sind an verschiedensten Stellen in eCognition integriert: 

o User defined Image Object Features 

o Protocol Editor 

o Classification Based Segmentation 

o Segmentierung auf globaler Bestpassung statt auf lokaler 

o Zuschaltbarkeit der ..Klassifikationsbasierten" Merkmale 

o darauf aufbauend die Automatische Bestimmung der Anwendbarkeit von Klassen 

o Umfangreicher Satz von ..Klassifikationsbasierten" Merkmalen 



o Die Losungen sind sehr spezifisch und daher inflexibel im Einsatz bei neuen 

Anforderungen des Users Oder der Datenstrukturen 
o Es liegt kein schlussiges Gesamtkonzept fur eine umfassende LOsung der geschilderten 

Aufgaben vor. 

o Zahlreiche Anforderungen sind offen oder noch unzureichend integriert: 

o iokale Prozessierung 

o klassifikationsspezischische Prozessierung 

o benutzerdefinierte Merkmale 

o Stabilitat und Obertragbarkeit der Regelsatze 
o Die Losungen sind jeweils „Entweder-Oder" 

o entweder Pixelorientiert oder Objektorientiert 
o entweder qlobale Prozessierung oder lokal adaptive Prozessierung 
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Zahlreiche Nebenprobleme bestehen in aktuellen Software verfahren: 

o RegelsStze sind stark an eine groRe Menge von absoluten Objekteigenschaften geknupft 
o RegelsStze sind statisch, d.h. die Klassen sind wahrend der gesamten Auswertung fix 
o Eine einmal gefundene Klassifikation kann nicht einfach festgehalten werden, sondern 
mufc so beschreiben werden, daft sie in alien weiteren Auswertungsschritten bestehen 
bleibt. Dies kann oft nur durch sehr komplexe Klassenformulierungen erreicht werden. 
o Insgesamt sind die Regelsatze oft sehr fragil und enthalten viele „Schmetterlingseffekte u 
o Dadurch wird hSufig die Obertragbarkeit eingeschrankt 

o Eine wirkliche lokale Prozessierung ist nicht moglich, alle Verfahren werden global auf das 

gesamte Bild angewendet 
o Die Segmentierung leidet an einer starken Abhangigkeit vom Bildmaterial und einer 

inharenten „Unvorhersagbarkeit'\ beeinflufit aber gleichzeitig alle weiteren Auswertungen 

substantiell 

o Eine wirkliche dynamische Gestaltung der Biidobjekte entlang der aktuellen 

Auswertungsanforderungen ist nicht moglich 
o Viele Verfahren sind fest implementiert und konnen nicht vom User nur im Rahmen 

vordefinierter Parameter verandert werden. (z.B. ist keine frei definierbare 

Segmentierungen vorhanden) 



Die Erfindung schafft ein in sich schlussiges Gesamtverfahren, das alle Notwendigkeiten fur ein 
Datenanatyse System, wie in 1.1 beschrieben, bereitstellt. Die vorhandenen Konzepte der 
Cognition Network Technology lassen sich schlussig und in einfacher Weise mit der Erfindung 
kombinieren und erganzen sich gegenseitig. 



Die Bildauswertung wird durch Prozessnetze modelliert. Die einzelnen Prozesse kOnnen 
„Bi!dobjekt Domanen", „Klassen Domanen" und Analyse-Verfahren (Algorithmen) umfassen. 
Prozesse sind in einer fraktai-hierachischen vernetzen Struktur gegliedert, die gleichzeitig zur 
Ablaufsteuerung dient. Ein einzelner Prozess ist eine abgeschlossene Einheit, die eventuell 
verse hen mit Kontextinformation selbstandig agieren kann. Die Bildauswertung ist in diesem 
Modell die sequentieile oder parallele Ausfuhrung eines fraktal-hierarchischen Prozessnetzes. Die 
Prozessierung kann dabei beliebig zwischen global und lokal und alien Zwischenstufen hin und her 
wandern. Auch das Berechnen von Bildobjekt- Eigenschaften (Merkmale) kann in ahnlicher Weise 
formuliert werden. Die Merkmalsberechnung ist also ein spezieller Prozess. Da Prozesse beliebig 
lokal/global arbeiten konnen und dabei stets die gesamte Kontextinformation der ubergeordneten 
Prozesse zur Verfugung haben kSnnen Klassen und Merkmale ebenso relativ wie absolut 
beschrieben und ausgewertet werden. Ebenso ist eine adaptive Anpassung der Biidobjekte selbst 
an die jeweiligen Erfordernisse der Prozessierung moglich. Information bzw. Wissen kann 
entsprechend der Anforderungen und/oder Fragestellungen der Benutzer selektiv und gezielt aus 
den Datenstrukturen (Bildern, etc.) extrahiert werden 



Folqende zusatzlichen Features fuhren zu einem ..Visual Basic zur Wissensextraktion" 
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o Die Klassifikation von Beziehungsobjekten zwischen den Bildobjekten erlaubt eine 
allgemeine und nachvollziehbare Moglichkeit zur Definition beliebiger 
Segmentierverfahren. 

o Die Formulierung von Zielfunktionen bei Optimierungsaufgaben. Dafur dient z.B. ein 
graphischer Editor vergleichbar mit einem Formeleditor und/oder Taschenrechner. 

o Der Satz an verfugbaren Basis-Aigorithmen (wie z.B. Fusion, Klassifikation, 

Randoptimierung) kann uber eine Programmiersprache beliebig erweitert werden. 

© Eine Art Jnline Compiler" wie bei z.B. in Java kann fur Performanceoptimierung eingesetzt 
werden 



o Die allgemeinen Konzepte der Patente P1 und P2 werden so realisiert, das eine 

Schlussige Bundelung aller „Anaiyse-Aktivitaten" in einem einfachem Gesamtverfahren 
erfolgt. 

o Die Sichtweise wird von einer reinen Sicht aus dem Objekt heraus (Innensicht) zugunsten 
einer Sichtweise auf .yerfahren/Prozesse", also einer Sichtweise von „Au(ien" auf das 
Cognition Network, geandert. Die Verfahren/Jani hangen nicht am zu analysierenden 
Objekt selbst, sondern sind eigenstandigen Objekte in einer eigenstandigen Struktur (f-h 
Netz/Cognition Network), die auf beliebigen Ausschnitten der Cognition Networks der 
Bildobjekte und Klassen in freier Art und Weise agieren konnen. (siehe Skizze A) 

o Ebenso sind Prozesse nicht spezifisch fur einzelne Klassen (P2, Anspruch 18) sondern 
agieren auch hier unabhangig. 

o Die Verknupfung der Prozesse mit den Bildobjekten und Klassen erfolgt durch Domanen, 
die als eine konkrete Realisierung der durch eine Abstandsfunktion beschriebenen 
Nachbarschaft nach P1, Anspruch 22 gesehen werden konnen. 

o Diese Verknupfung kann auch erst zur Laufzeit/Ausfuhrungszeitpunkt des Prozeftes 
erfolgen. 

o Das Wissensextraktionsverfahren besteht aus dem Zusammenspiel der drei „WeIten": 
Bildobjekte, Klassen, Prozesse. Die Prozesse fallt dabei die Rolle der agierenden Instanz 
zu. 

o Die in P2, Anspruch 15 erwahnte Ablaufsteuerung wird explizit und schlussig durch die 

Netzstruktur der Prozesse realisiert. Dabei sind alle aus der Programmierung bekannten 

Freiheitsgrade moglich. 
o Die eher impliziten „T rigger" - Mechanismen zur Ablaufsteuerung nach P1 und P2 sind 

ebenso denkbar, spielen aber gegenuber der vernetzten Struktur der Prozesse eine 

nachgeordnete Rolle. 



© Die freie Formulierung beliebiger Prozessablaufe wird innerhalb eines schlussigen 

Gesamtkonzeptes ermoglicht. 
o Die Entwicklung von beliebiger Analyseverfahrern kann uber ein graphisches 

Benutzerinterface geschehen und erfordert vom Anwender keine Programmierkenntnisse, 

bzw. Wissen uber die inneren Aufbau von eCognition 
o Alle gangigen Kontrollstrukturen von Programmiersprachen (Schleifen, Verzweiqungen, 

^3> 



Funktionsaufrufe, Sprunge und Ablaufsteuerung) sind im Prozessmodel) enthalten bzw. in 
einfacher Weise zu realisieren. 

• Der einfache und modulare Aufbau der Prozess DomSne aus den Komponenten 
(Bildobjekt Domane, Klassen DomSne, Algorithmic Domane) erlaubt den einfachen und 
fiexiblen Ausbau und einen geringen Wartungsaufwand konkreter Implementierungen. 

• Alle derzeit bekannten Anforderungen im Bereich lokale/globale, klassenspezifische 
und/oder objektspezifische Prozessierung werden erfullt 

• Die Erfindung kann allgemein zur Erstellung von Wissensextraktionsverfahren mit Hilfe von 
Cognition Networks aus beliebigen Datenstrukturen verwendet werden 



• Hybrides Verfahren 

o sowohl Pixel als auch Objekt - basiert 

o sowohl global als auf lokal 

o sowohl adaptiv als auch nicht adaptiv 

• f-h Prozess Domanen basierte Wissensextraktion aus Datenstrukturen 

• Domanen Janus 

• Visual Basic fur Bilder 

• Djini Technology . 



1. Generelie Beschreibung 

In der Beschreibung wird versucht die Anaiogie zu einem Computerprogramm aufzuzeigen. 
Vergleichbare Strukturen oder Begriffe erscheinen (kursiv in Klammern). Diese Anaiogie dient 
lediglich zur Verstandnis des Verfahrens. 

Ein Prozess (function) besteht aus folgenden Komponenten (code) 

• Bildobjektdomane 

• Klassendomane 

• Algorithmendomane 

• Kontrollstrukturen 

Ein Prozess kann beliebig viele Unterprozesse (function calls) enthalten. Diese werden als eine 
Art weitere Algorithmen des Prozesses vor oder nach dessen „Hauptalgorithmus u ausgefQhrt 
Dadurch entsteht eine Baum- oder auch nichtzyklische Netzstruktur vergleichbar zu einem 
Computerprogramm, das aus Funktionen zusammengesetzt ist. Die Prozessausfuhrung erfolgt 
ausgehend von einem Prozess aus (main function), der dann sequentiell oder parallel (threading 
model) seinen enthaltenen Algorithmus und die Unterprozesse ausfuhrt Das gesamte Verfahren 
besteht also aus 

• Netz von Prozessen (source code) 




Ablaufsteuerung (program execution) 
Die wesentlichen Komponenten der Ablaufsteuerung sind 
Ausfuhrungskontext (call stack) 

Zeiger auf den aktuellen Prozess (point of execution, ip register) 
Zeiger auf das aktuelle Objekt in der aktuellen Domane 
threading model : sequentiell, parellel,... 

2. Erlauterung der Prozess - Komponenten 

Bildobjektdomane ist eine betiebige Teilmenge des gesamten Bildobjektnetzes. Diese ist haufig 
durch topologische oder andere Eigenschaften spezifiziert. Beispiele sind: 

Bildobjektebene 

Die Nachbarschaft eines Objektes 
Die Unterobjekte eines Objektes 
Die Oberobjekte eines Objektes 
Objekte einer gewissen Klasse 
Objekte mit gewissen Eigenschaften 
Schnittmenge der obengenannten Domanen 

Klassendomane ist eine beliebige Teilmenge des Klassennetzes. Klassen mussen nicht Qber 
Merkmale definiert sein (leere Klassen). 

Algorithmendomane ist ein Teilmenge beliebiger Verfahren auf Bild und/oder KlassendomSnen: 

Erzeugen von Bildobjekten (Segmentieren) 
Loschen von Teilnetzen des Bildobjektnetzes 
Klassifikation 

Berechnen von Merkmalen 
Speichern von Werten in den Objekten 
Biidobjekt Modifikation 
o Fusion 

o Randoptimerungen: Dilletation, Errosion 
o Objekt-Extraktion, Oberobjekt-Wechsel 
Uberprufen auf Extermaleigenschaften 
Verbindungen Aufbauen 
Objekte an Formen anpassen 
Ausgabe von Ergebnissen 
etc. ... 
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Algorithmen konnen auch parametrisiert werden, so das ein Algorithmic in der Lage ist gleich eine 
ganze Klasse von Algorithmen abzudecken. 

Kontrollstrukturen wirken auf ProzessdomSnen wShrend der AusfUhrung einer 
Wissensextraktion. Beispiele sind: 

• Bedingte Ausfuhrung 

• Schleifen 

• Verzweigungen 

3. Erlauterung der Ablaufsteuerung 

Ausfuhrungskontext speichert alle Informationen die einem Prozess zum AusfCihrungszeitpunkt 
zurVerfugung stehen. Die Ausfuhrungskontexte der Prozesse werden ebenso wie die Prozesse 
vernetzt, so dali jedem Prozess die vollstandige Information uber den Ausfiihrungszustand aller 
derzeit ..aktiven" Prozesse zur Verfugung steht. Eine wesentliche Information des 
Ausfuhrungskontextes ist dabei die Position eines Prozesses in der aktuellen Bildobjekt, Klassen 
Oder Algorithmendomane („aktive Objekt"). 

Threading Modell definiert wie die Algorithmen und Unterprozesse eines Prozesses ausgefuhrt 
werden. Dabei sind alle Variationen zwischen sequentiell und vollstandig parallel denkbar. Auch 
kSnnte jeder Prozess sein eigenes Threading Modell definieren das von der Ablaufsteuerung 
entsprechend realisiert wird. 

4. Durchfuhrung des Verfahrens 

Um ein Bild mit Hilfe des Verfahrens zu analysieren sind folgende Schritte notwendig: 

• Definition eines oder mehrerer Klassen Netze auf Basis der Cognition Network 
Technology 

• Definition eines oder mehrerer Prozess Netze 

• Auswahl des zu analysierenden Bildes 

• Anwendung der Prozesse auf die Bilder 

5. Unterschiede zu anderen Verfahren 

Das Verfahren unterscheidet sich von Programmiersprachen durch folgende Aspekte: 

• Das Schreiben des Quellcodes wird ersetzt durch die Auswahl geeigneter Bildobjekt, 
Klassen und Algorithmen - Domanen aus einem Pool vordefinierter „Schablonen 4 \ sowie 
der Erstellung eines geeigneten f-h Prozessdomanennetzes 

• Die Ablaufsteuerung und der Aufbau der Prozesse sind speziell angepaftt auf die 
Bedurfnisse der Wissensextraktion. 

• Die .Programmierung" erfolgt nicht auf Vahablen sondern auf Cognition Networks 



Das Verfahren erweitert, modifiziert, adaptiert, perzipiert oder transpiriert sich von den 
Grundsatzpatenten im Bereich Cognition Networks durch folgende Aspekte: 

o Die Ablaufsteuerung ist eine eigenstandige Einheit die losgelGst von Bildobjekten und 
Klassen agiert. 

o Bisher wurden Aktionen, Jani, Algorithmen, etc.. stets an Objekte im Cognition 
Network gehangt, bzw. waren ein Bestandteil der Objekte, von denen ausgehend 
sie agierten. AnschliefJend wurde ein nachstes Objekt durch eine „Triggerung" 
zum ..Nachdenken angeregt". 
o Die genaue Form der Ablaufsteuerung blieb dabei unklar oder war durch implizite 
lokale Logiken und/oder Zusammenhange charakterisiert, jedoch nie als eigene 
klare Instanz gekennzeichnet. 
o Diese bisherige Sichtweise ist extrem lokal im Gegensatz zur ..klassischen" 
Sichtweise der ..globaien" Prozessierung. Beide Sichtweisen haben eigene 
Schwierigkeiten: 

° globale Prozessierung ist sehr einfach aber nicht adaptiv 

lokaie Prozessierungen ist sehr adaptiv aber es ist sehr schwierig zu 
definieren wie das richtige Zusammenspiel lokal adaptiver Prozesse zu 
dem gewunschtem globalen Ergebnis fuhren soil. Es treten haufig 
Emmergenzprobleme oder derZwang zu ..Evolutionarem Selbstlernen" 
auf. Urn es auf die Spitze zu treiben: „Man mud den Schmetterlingen 
sagen wie sie fliegen sollen, damit das gewGnschte Wetter dabei 
herauskommt." 

o Das vorgestellte Verfahren umgeht diese Schwierigkeiten durch eine 

eigenstandige Instanz (die Prozessnetze) die wechselwirkend mit dem Cognition 
Network sowohl global als auch beliebig stark lokal adaptiv arbeiten konnen. Der 
„Grad der Lokalitat" kann selbst adaptiv durch die Prozesse und das Cognition 
Netzwerk gesteuert werden. Die Sichtweise des Anwenders bleibt dabei stets eine 
von Auften: Er „sagt u den Objekten, durch die von ihm definierten Prozessnetze, 
wie sie sich aus einer gewissen Situation heraus zu verhalten haben. (siehe 
Skizze A) 

o Vielleicht findet sich ja noch einer 

Zusammenfassend ist das Verfahren als eine Verknupfung der Cognition Network Technology mit 
den Verfahren der Programmierung zu einem neuem Verfahren mit einer Erweiterung der 
MGglichkeiten gegenQberden beiden Einzel - Verfahren „Programmierung" und ..Cognition 
Networks" alleine zu bezeichnen. Wesentliche Aspekte sind die Moglichkeit einer lokal adaptiven 
Prozessierung bei Beibehaltung einer globalen Sichtweise (Aussensicht) fur den ..Netzwerk 
Erschaffer" zu sein. sowie die Realisierung der Wissensextraktion durch ein hybrides Modell. 



lo Marktanalyse 



1.1. Was der Markt will [35] 

70% der in der Pharma- und ,Xebenswissenschaften -„Life Science"" - Forschung erzeugten Daten sind Bilder. 
Firmen wie Scimagix(http//:www. Scimagix.com), Soft Imaging System (http//: www.soft-imaging.de) und Lion 
(http://www.lionbioscience.com) haben Plattformen entwickelt, welche Akquisition, Analyse, Speichern wie 
auch Korrelation von Bildern mit anderer biologischen Information ermogiichen. 

Es gibt eine groBe Anzahl von Anwendungen fur Bildanalyse im biomedizinischen Bereich, die je nach 
unterschiedlichen Kriterien in unterschiedliche Segmente unterteilt werden konnen. Dazu konnen folgende 
Applikationssegmente fur den betreffenden Markt definiert werden: 

o Applikationen je nach tnedizinischer Anwendung: Gewebezuchtung, Histologie, Zytologie, Ultrasound, 

Szindigraphie, MRI, PET, CT usw.. 
o Applikationen je nach therapeutischer Spezialisierung: Onkologie, Kardioangiologie, Dermatologie, 
CNS, Traumatologic 

o Applikationen je nach Funktion: Diagnose, Qualitatskontrolle, Medikamentenentwicklung. 

o Applikationen je nach bisher unerfullten Anforderungen: Automation, Ultra - Precision Analyse, 

Geschwindigkeit, Kostenreduktion, Effizientes Datenmanagement. 
o Applikationen je nach Kunden: Krankenhauser, Diagnosezentren, Forschungsinstitutionen, 
Universitaten, private Unternehmen. 
Insgesamt lassen sich fur die ^Lebenswissenschaften Industrie" und unter dem Kriterium der Bildanalyse - 
Anwendungen, zwei groBe Kategorien identifizieren, welche sich jeweils wiederum in zwei weiteren Klassen 
' unterteilen lassen. 

o JLebenswissenschaften Forschung und Entwicklung": 
o Grundlagenforschung und 
o Pharma - Forschung und Entwicklung: 

» Medikamenten - Entdeckung und 
Medikamenten - Entwicklung. 

Die andere Kategorie bezieht sich auf medizinischen Applikationen und unterteilt sich in folgenden Bereichen: 

o medizinische Diagnostik 
o Gewebezuchtung. 

"Die wichtigste Differenz zwischen den zwei obengenannten Gruppen ist, daB die erste davon Applikationen fur 
die Zukunft erforscht, identifiziert und entwickelt. Deswegen ist sie auch mehr experimenteller Natur. Im 
Gegensatz dazu, wendet sich die zweite Gruppe schon etablierten Technologien zu, mit der Zielsetzung: 
Verbesserung der Gesundheit des Menschen. 

Im Jahr 1999 z.B. haben 1020 Institutionen Elektronenmikroskope gekauft. Davon waren 74% d.h. 755 
Institutionen aus der Industrie, 143 d.h. 14% medizinische Institutionen und 122 d.h. 12% Akademische 
Forschungsinstitute. Im selben Jahr wurden 244000 Lichtmikroskope wie folgt bei den obengenannten 
Marktsegmente verkauft: 52% d.h. 127000 Institutionen aus der Industrie, , 48000,00 d.h. 20% medizinische 
Institutionen und 69000 d.h. 28% Akademische Forschungsinstitute. Bei der „Confocal Mikroskopie" sind die 
entsprechenden Verkaufe 272 und die Kunden teilen sich wie folgt auf: 65% d.h. 177 Institutionen aus der 
Industrie, ,19 d.h. 7% medizinische Institutionen und 76 d.h. 28% akademische Forschungsinstitute. Diese 
Angaben betreffen den intemationalen Markt. Es ist ersichtlich, daB die Anzahl der verkauften Lichtmikroskope 
sehr deutlich die der Elektronenmikroskope uberwiegt. Ein Grund dafur ist, daB der Preis fur Lichtmikroskope 
deutlich niedriger als der fur die Eiektronenmikroskopie ist. Ein weiterer aber sehr wichtiger Grund ist die 
Tatsache, daB es bisher kcine unblierte Methode gibt, welche die Erfassung von elektronenmikroskopischen 
Bildern in dem Sinne erlaubi. daB eine automatische Analyse und Erfassung anhand von Expertenwissen 
(„evaluierten Schadensparametern") zur Charakterisierung von Gewebezustanden auf der intrazellularen Ebene, 
ermoglicht. Von enormer Bedeutung ist es zu verstehen, daB die unterschiedlichen Arten von Mikroskopie eher 
erganzend und nicht konkurrierend zu einander betrachtet werden sollten. Licht-, Konfocal-, multimodale-, 
Fluoreszence -, Elektronen - Mikroskopie und entsprechend 2D-, 3D-, 4D-, wie auch 6D- bzw. 
multidimensionales Imaging sind heute Stand ardanwen dun gen im biomedizinischen Bereich. Im speziellen die 
Eiektronenmikroskopie wurde entwickelt, da es eine physikalische Limitierung der Lichtmikroskopie bei 500x 
oder lOOOx VergroBerung/und eine maximalen Auflosung von 0.2 urn gibt. Elektronenmikroskope (EMs) 
arbeiten im Prinzip wie die Lichtmikroskope, benutzen aber start einen fokusierten Lichtstahl einen fokusierten 
Elektronenstrahl. EMs fai/den ein groBes Applikationsfeld in der Industrie. In den Lebenswissenschaften werden 
EMs fur spezielle Anwendungen und dann benutzt, wenn die Lichtmikroskopie nicht die Anforderungen der 
fragestellungbezogenen Auflosung befriedigen kann. 
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Da aber Zytologie und Histologic Wichtigkeit gewinnen, hat sich eine entsprechende Vielfalt von Anwendungen 
gezeigt und alles deutet darauf hin, da!3 „hochaufgeloste" Bilder im biomedizinischen Markt, von enormer 
Bedeutung in der unmittelbaren Zukunft sein werden. 

Meistens werden von Bioinformatik - Firmen spezielle Applikationen fQr speziellen Arten von Bildern 
entwickelt. Im Produktportfolio haben diese Firmen sowohl Software wie auch dazu passende Hardware 
Produkte wie z.B. Mikroskope oder Kameras. Das Angebot an Losungen ist aus dem Bereich Mikroskop, 
automatische Justierung, automatisches Kamera - Justierung, Skalierung, Autofokus, Dekonvolution, 
Akquisition, Bild Prozessierung, Multimodalitat und Mehrdimensionalitat. D.h. diese Firmen leben aus der 
Vielfalt des angebotenen Produktportfolios, mit Schwerpunkt automatische Mikroskopie, Bild Akquisition und 
Bild Prozessierung. 



1.2. Was die bisherigen Bildanalyse Verfahren in der Mikroskopie leisten: 

Unten werden kurz die wichtigsten Anbieter im Bereich Bildanalyse im Biotechnologie erwahnt: 
Scimagix: Die Firma Scimagix ist fiihrender Anbieter von „Image Informatics" - Losungen fiir die Forschung 
und Entwicklung im Pharmabereich. SIMS(TM) -Scientific Image Management System", ist das erste 
„Datenbank Management System", welches dazu entwickelt wurde, urn die Nutzung von Bildern wahrend des 
"Medikamenten - Entwick lungs"- Prozesses zu optimieren. Die Produkte CellMine(TM) und TissueMine(TM) 
befinden sich noch in Entwicklung. Target dieser Produkte ist, die Analyse und Speicherung von die 

"^mikroskopische Bildern. Beide Produkte sind noch nicht auf den Markt. 
Tissuelnformatics Inc.: Die Firma entwickelt automatische Gewebe(Tissue) - Imaging - Systeme, automatische 
Bildprozessierungs und Bildanalyse Software. Das entsprechende Produkt fiir Bildanalyse heifit Quant(TM) und 

N bietet Software Tools zur automatischen hyper - quantitativen Analyse von Gewebe im Histologiebereich. Die 
Firma bietet drei konkrete Anwendungen fur Haut, BlutgefaBe, Lebergewebe. 

Cellomics Inc.: Eine der ersten Firmen in dem Bereich von „Knowledge Extraktion" (Wissensextraktion). auf 
der zellularen Ebene. In ihrem Produktportfolio gehOrt eine breite Palette von Produkten sowohl fur die 
Medikamentenentwicklung wie auch Software, welche anderen Firmen dazu verhelfen sollen, schnelle 
Zellanalysen durchfuhren zu konnen. Das Produkt der Firma heifit CellSpace(TM) Knowledge Miner und ist ein 
„Wissensextraktions - System" in dem Sinne, daB es aus der Molekularbiologie - Literatur automatisch 
Informationen extrahiert. Die Firma hat ein optisches screening" System (UHTS - Ultra High Throughput 
Screeninig) mit Carl Zeiss entwickelt 

-Soft Imaging System (SIS): Die Firma ist ein Spezialist im Bereich von Bildanalysesystemen. Das 
Hauptprodukt der Firma analySIS(R) bietet fur den speziellen Bereich Life Science folgendes Modul: 
auto und pro: 

o Automatische Analyse und Klassifikation von Proben bei uber 80 vordefinierten MeBparametern. 

o Definition von ROTs (Regions of Interest) automatisch oder manuell. 

o Analyse von biologisciien Prozessen uber die Zeit. 

o Werkzeuge fiir Analyse von Fluoreszenzmikroskopie Aufhahmen 

o Analysieren und Bear bei ten von markierten Proben 

o Aufzeichnung der Bewegung von markierten Proben uber die Zeit (timelapse) 
o Bildverbesserung 

o Analyse von markierten Immunogold - Proben fur elektromikroskopischen Bildern 
o Vergleich von Spots bei 2-D Gel - Elektrophorese 
o Filter 

In Kooperation mit Mikroskophersteller bietet die Firma zu ihrer Software dazu auch entsprechende Hardware 
fur Licht und Elektronenmikroskopie. 

Media Cybernetics: Die Firma bietet das Produkt Image-Pro Plus, welches dem Benutzer die Moglichkeit gibt, 
Bilder zu akquirieren bzw. zu prozessieren an einer oder an einem Netz von Arbeitsstellen. Ebenso bietet sie eine 
Reihe von Plug - Ins fur spezielle Applikationen. 

Die Firma ist fuhrend auf den Markt in dem Bereich Bildanalyse fur das Labor und ist hiermit sehr erfolgreich in 
dem Bereich wissenschafiliche Bildanalyse. 

Es gibt eine Reihe von anderen Firmen, welche in dem Bereich „Life Science" Software fur Bildanalyse 
anbieten, wobei das Produktportfolio dieser Firmen meistens noch breiter ist. Solche Firmen sind z.B. TriPath 
Imaging, ChromaVision, Applied Imaging Systems, Clemex, Empix, BioGenex, BioRad, Cella Vision, 
Cytoprint, Imaging Associates, Image Content Technology, Image Metrology, Imaging Research usw.. 
Keine dieser Firmen bietet ein Produkt zur automatischen und objektorientierten wie auch multiskalaren 
Bildanalyse fur den biomedizinischen Bereich oder speziell fur die Elektronenmikroskopie. 
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Insgesamt fuhrt eine verglcichende Betrachtung der oben genannten Firmen zur folgendem Ergebnissen: 

Die Firmen lassen sich in drei Hauptgruppen wie folgt zusammenfassen: 

• Anbieter von Bildanalyse Software mit allgemeiner Anwendungsmoglichkeit (nicht nur speziell fur den 
biomedizinischen Bereich) wie z.B. Soft Imaging Systems, Clemex, Empix. Diese sind eher auf 
industriellen Anwendungen spezialisiert und entwickeln spezielle Losungen gemeinsam mit dem 
jeweiligen Kunden. Life Science hat bei diesen Firmen in der letzter Zeit an Bedeutung gewonnen. Die 
Firmen kOnnten als Konkurrenten fur Definiens AG gelten, haben aber nach unserer Erfahrung 
technologisch gesehen nicht die Kapazitaten speziell in den Bereich Elektronenmikroskopie intensivst 
einzusteigen. 

• Wert Kette Intergratoren (Value Chain Intergrator), welche die Bildanalyse als einen ProzeB innerhalb 
eines Workflows anbieten. Diese sind meistens Automatisations - Experten im Bereich Hardware, wie 
z.B. Mikroskope, Videos u.s.w. wie z.B. Tissueinformatics, Scimagix, Cellomics, Media Cybernetics. 
Diese Firmen konnten als potentielle Partner fur Definiens gelten, da Definiens ihnen „state of the art" 
Bildanalyse als Teil eines integrierten Systems von Prozessen anbieten konnte. 

• Application Specific Players (Applikationsspezifische Entwickler): Diese Firmen haben als Fokus nicht 
die Bildanalyse, brauchen aber eine sehr spezielle Entwicklung davon, fur Forschungs- bzw. 
Diagnostische Zwecke. Diese Firmen haben meistens nicht die Kapazitaten selber solche Software zu 
entwickeln, aber die Entwicklung findet in Kooperation mit anderen Partnern statt. Solche Firmen sind 
TriPath, Applied Imaging Systems und IRIS. Diese konnten als potentielle Partner fur Definiens gelten. 

Kunden Fokus: 

• Basic Research (Grundlagenforschung): Die Firmen, welche sich bei ihrem kommerziellen Angebot auf 
akademische Laboratorien fokussieren, haben ihre Software - Applikationen anhand von einer Anzahl 
von unterschied lichen Projekten, diversifiziert. Deren Ziel ist es, dem Kunden zu helfen, selber 
Applikationen zu entwickeln. Die entstandenen Losungen sind nicht vollig automatisch, sondern eher 
semiautomatische Software Tools, sehr speziell und spezifisch. Die Applikationen sind mit Hilfe von 
Forschern entstanden und deswegen erfolgte ein schneller und erfolgreicher Markteintritt. 

• Biotech - Pharma Industrie: Diese Firmen, welche als Kunden auf die Biotech-Pharma - Industrie 
fokusieren, bitten meistens „allgemeine" Applikationen. Sie haben sich vorgenommen und versprochen 
einen wesentlichen Beitrag zur Entwicklung von Medikamenten zu liefern, stehen aber zur Zeit vor der 
Aufgabe richtige Erfolge zu zeigen und einen erfolgreichen Markteintritt durchzufuhren und zu 
bewaltigen. 



2. amoBi2 



2.1. Technologische Ausgangssituation: 
eCognition Geo: 

Die technologische Ausgangssituation fiir das Modul amoBi2 „Bildanalyse von elektronenrnikroskopischen 
Aufiiahmen der Leber", war wie im Forschungsantrag beschrieben wurde die Definiens AG Software eCognition 
fur den Geo - Bereich. Urn die Entwicklung dieser Software genauer verfolgen zu konnen, empfiehlt es sich, 
eine kurze Beschreibung dieser Software zu geben. 

eCognition basiert auf einem neuen Ansatz zur objektorientierten Bildanalyse. Der wichtigste Unterschied zu 
pixelbasierten Verfahren ist, daR eCognition nicht auf Pixeln - sondern auf die Klassifikation von 
Objektprimitiven basiert. Diese Objektprimitiven werden bei der Segmentierung des Bildes erzeugt. Fiir diesen 
Zweck wurde ein neues palentiertes Verfahren entwickelt, welches Multiresolution Segmentierung genannt wird 
und im Text unten in kurzer Form beschrieben wird. Die Multiresolution Segmentierung ermoglicht die 
Segmentierung des vorhandenen Bildes in einem Netzwerk von homogenen Bildregionen bei jeder vom 
Benutzer gewahlten Auflosung bzw. Auflosungen. Diese Bildobjektprimitiven reprasentieren Bildinformation in 
einer abstrakten Form. Als klnssifizierte Informationstrager innerhalb eines Bildobjektnetzes, bieten diese 
Objekte Vorteile gegeniiber klassillzierten Pixeln. 

• AuGer spektraler Information, beinhalten Bildobjekte eine Vielzahl von Attributen, welche zur 

Klassifikation benutzt werden konnen wie z.B. Form, Textur und als vernetzte Objekte ein groBes Set 

von Kontext - Information. 



o Die Multiresolution Segmentierung teilt benachbarte Regionen innerhalb des Bildes auch bei 
texturierten Bilddaten. Deswegen ist eine Analyse von solchen Daten auch moglich. 

o Die Multiresolution Segmentierung bietet die Moglichkeit Bildobjekte an gegebene Fragestellungen zu 
adaptieren. 

o Ober die groBe Anzahl der Attribute von Biidobjekten ist eine robuste Klassifikation moglich. 

o Die Segmentierung reduziert wesentlich die Anzahl der zu klassifizierenden Objekte. Dies macht eine 

schnelle Klassifikation des Bildes moglich. 
o Durch die Moglichkeit Bildobjekte in unterschiedlichen Auflosungen zu erzeugen, kann ein Projekt ein 

hierarchisches Netz von Objekten bei unterschiedlichen vernetzten Objektebenen beinhalten. Diese 

Struktur reprasenliert und beinhaltet Bildinformation in unterschiedlichen Skalenbereichen gleichzeitig. 

Diese unterschiedlichen Objektebenen konnen relativ zu einander analysiert werden. 
o Fur elaboriertere Untersuchungen bietet eCognition die M6glichkeit der klassifikationsbasierten 

Segmentierung. Anhand der Klassifikation konnen unterschiedliche Typen von Objekten miteinander 

fusionieren, sich spalten. sich umgruppieren. 
© Ober das Fuzzy - Klassifikationssystem wird eine breite Informationsausbeute Ober das Bild moglich. 

Dadurch ist z.B. eine schnelle Klassifikation als fuzzy „Nearest Neigbour" Klassifikation („click and 

classify"), moglich. Bbenso wird dem Benutzer ermoglicht, Konzepte und Wissen in einer schnellen 

und einfachen Form als Regelsatze zu formulieren. 
o Aufier den Objektmerkmalen sind klassenbezogene Merkmale definierbar. Diese erlauben z.B. den 

Abstand eines Objektes von einer vorgegebenen Klasse zu bestimmen. Ebenso wird dem Benutzer 

ermoglicht, neue Merkmale als Kombination der in der Software vorhandenen zu definieren. 
o Mit der „Multisource Data Fusion" ermoglicht eCognition unterschiedliche Arten von Datentypen 

innerhalb eines Projektes miteinander zu kombinieren. Diese werden als unterschiedliche Layers im 

selben Projekt geladen und konnen vielfaltig miteinander kombiniert, bearbeitet werden. 
o Statistische Erfassung: Dies wird nach der Klassifikation durch eingebaute, elaborierte Statistik 

Werkzeuge unterstiitzt. Fur jedes Objekt, fur jede Klasse ist es moglich Merkmale auszuwahlen und 

diese statistisch zu erfassen. Ein Export der statistischen Ergebnisse im CSV - Format wird von der 

Software geboten. 

o Analyseergebnisse wie z.B. Klassifikationsergebnisse konnen exportiert werden. Dies ermoglicht das 

Speichern der bei der Analyse des Bildes erzielten Resultaten. 
o Automatisierung: Alle Bildanalyseschritte konnen iiber ein Protokoll erfaBt und automatisch, 

nacheinander an weiteren, ahnlichen Bilddaten angewandt werden. 

Das im Geo - Markt existierende Produkt hat zwei wesentliche Bestandteile: 
© Objektnetz (Netzwerk von Biidobjekten) 
o Semantisches Netz(Klassenhierarchie) 
Fiir die Segmentierung gibt es zwei Algorithmen: 
o Multiresolution Segmentierung 
o Klassifikationsbasierte Segmentierung 
Die Klassifikation erfolgt iiber die Klassenhierarchie. Klassen werden iiber Merkmale definiert. Fur die 
Definition der Merkmale werden Fuzzy - Zugehohrigkeitsfunktionen benutzt. 

In der Biomedizin sind die zu analysierenden Bilddaten: 

o Hochtexturiert. Beispiel:. elektronenmikroskopische Bilder 
o Liegen oft nur im Grauwerlbereich vor 

o Es gibt keine kontrastreiche Abtrennung zwischen den Biidobjekten 
o Die Qualitat der Bilddaten ist oft minder. 

o Die zu bearbeitenden Daten mengen sind meistens enorm z.B. Pharmazeutische Industrie. 

o Sehr oft interessieren den Benutzer nur bestimmte Bildobjekte (^Objects of Interest"). Eine 
entsprechend gezielte automatische Bildanalyse, welche sich nur auf diese Objekte konzentriert, erspart 
Bearbeitungszeit, reduziert die zu bearbeitenden Datenmenge enorm und erhOht die Robustheit der 
entworfenen Regelsatze. 

o Es werden mehrere Arten von Segmentierung zur Extraktion detaillierter Information aus der Bilddaten 

benotigt, welche dann auch beliebig und je nach Bedarf miteinander kombinierbar sind. 
o Das Problem der Obertragbarkeit von Segmentierung und Klassifikation ist vor allem bei 
hochtexturierten Daten nicht zu vernachlassigen. 
Im Geo - Markt sind die Probleme ahnlich. Die neuen kommerziellen Satelliten mit einem Auflosungsvermogen 
von bis unter Im, wie z.B. 1KONOS, liefern Bilddaten die hochtexturiert und panchromatisch sind. Bei 4m 
Auflosung iiefert IKONOS z.B. drei Kanale in Rot - Griin - Blau Bereich. Kombination von Bilddaten zwischen 



lm und 4m Auflosung 1st moglich. Fragestellungen wie z.B. StraBenextraktion stoBen bei solchen Bilddaten an 
die Grenzen des Moglichen. 



eCognition Cvtaron: 

All diese Tatsachen ha ben dazu gefuhrt, eine entsprechende Erweiterung der vorhandenen Software 
vorzunehmen. Folgende wichtige Elemente dieser Erweiterung sind zu nennen: 

1. - Software -Archive km r Erweiterung: 

o Einiilhrung von vier Domanen: 

• Die ProzeBdom&ne 

• Die Bildobjektdomane 

• Die Klassendomane 

• Die Algorithmendomane 

o Einfu lining eines ProzeB netzes neben dem semantischen- und dem Bildobjektnetz. Prozesse 
beinhalten Objekt -,Klassen - und Algorithmendomanen und bilden ein ProzeBnetz. 

2. Moglichkeit des selektiven und lokalen Wirkens von Prozessen, d.h. nur auf bestimmte Objekte bzw. 
Klassen „Objects bzw. Klassen of Interest". 

3. Einftihrung prozeBbasierter Merkrnale. 

4. Segmentierung: 

o Einbindung der Segmentieralgorithmen in die Prozesse. 

o Erweiterung der Segmetiermoglichkeiten durch Einfuhrung mehrerer aus der Literatur 

bekan n t e r Segm e n t i er ungsalgorithmen 
o Moglichkeit der beliebigen Kombination von Segmentieralorithmen innerhalb eines Projektes. 

Im Bild .1. wird Aufbau und Wirkungsweise von Domanen und Prozessen skizziert. 

Zu 1: Domanen, ProzcBdomanc, Bildobjektdomane, Klassendomane, Algorithmendomane: 

Prozesse, ProzeB netzwerke, ProzeNdomanen: 

ProzeB: Ein ProzeB ist eine Einheir. um eine Bildanalyse - Operation innerhalb eines Projektes zu beschreiben, 
" und setzt sich zusammen aus den Anworten auf die Fragen: 

o Was soli passieren d.h. welcher Algorithmus soil benutzt werden. 

o Wo soil es passieren d.h. welches Bildobjekt bzw. welche Bildobjekte sollen behandelt werden. 
o Unter welcher Kriierien soil es passieren d.h. welche Klasse oder welche Klassen sollen dabei benutzt 
werden. 

Prozesse konnen selekiiv nur auf bestimmten Objekten, auf bestimmten Klassen und mit bestimmten 
Algorithmen wirken. Dadurch kann z.B. ein bestimmter Segmentieralgorithmus nur auf die Unterobjekte eines 
ausgewahlten Objektes innerhalb des Bildobjektnetzes angewandt werden. 

Bild 2. zeigt die entsprechenden Benutzerschnittstelle (GUI) fur Objekten, Klassen und Prozessen. 

ProzeBnetzwerk, ProzeB hierarchic: Wie bei der Klassenhierarchie konnen Prozesse innerhalb eines Projektes 
in einer ProzeRhierarchie eingegliedert werden. Dabei gelten die entsprechenden Vererbungsregeln der 
objektorientiertcn Program mierung, wie sie auch bei aus der Anwendung bei der Klassenhierarchie gelten. 
Vorteil ist, daB zur Bildanalyse ein iiberschaubares Workflow aufgebaut werden kann. 

ProzeBdomanen: Die ProzeBdomanen wurden aus Symmetriegrunden und zur Analogie von Objekt- und 
Klassendoman e n e i nge \\\ h rt . 

Die Bildobjekttiomaiic heinhaltet aile Bildobjekte innerhalb des Projektes. Folgende Bildobjektdomanen 
wurden bisher im Programm implementiert: 

• Just execute: Objektdomane in der das Programm gerade arbeitet 

• Image Object Level: hier kann die Hierarchieebene ausgewahlt werden, auf welcher ein ausgewahlter 
Algorithmus innerhalb eines Prozesses angewandt werden soil. 

• Neighbour Objects: Damil konnen Nachbarschaftsobjekte in einem bestimmten Abstand (in Pixel) 
einer oder mehrerer Objekt klassen ausgewahlt werden. 
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• Sub Objects: Damit werden Unterobjekte einer bestimmten Objektklasse ausgewahlt. Ein Abstand in 
Anzahl von Objektebenen kann angegeben werden. D.h. die Seiektion der Unterobjekte beschrankt sich 
nicht auf unmiuclbarer Nachbarschaft von Hierarchieebenen. 

• Super Objects: Damit werden Uberobjekte einer bestimmten Objektklasse ausgewahlt. Ein Abstand in 
Anzahl von Objektebenen kann angegeben werden. D.h. die Seiektion der Uberobjekte beschrankt sich 
nicht nur auf die tmmittelbarc Nachbarschaft von Hierarchieebenen. 

• Innen Border: Damit kann als Objektdomane der Innenrand von Objektklassen als Objektdomane 
gewahll werden. 

• AuBen Border: Damit wird der AuBenrand von Objektklassen als Objektdomane ausgewahlt. 
Im Bild 3. sind die schon in der Software implementierten Objektdomanen zu sehen. 

Klassendomanc: beinhallen aile Klassen der Klassenhierarchie innerhalb eines Projektes. Eine oder mehrere 
davon konnen fur die Anwendung eines Algorithmus auf bestimmten Objekten innerhalb eines Prozesses 
ausgewahlt werden. 

Algorithmendomane: 

Folgende Algoritlimen wurden bisher in der Software implementiert: 

• Do nothing:LaRi Objekte und Klassen unbeeinfluBt und dient meistens als Stammbaum - ProzeB ftir 
weitere Kind (Child) - Prozcsse. 

• Classifikation: Klassifiziert Bildobjekte einer ausgewahlten Objektdomane anhand ausgewahlter Klassen 

aus der Klassenhierarchie. 

• Image Object Fusion: Ermoglicht die Fusion von Objekten bestimmter Klassen innerhalb einer 
ausgewahlten Objektdomane. Fusionskriterien sind vom Benutzer ausgewahlte Merkmale der 
ausge wa h Iten O b j ektkl asse n . 

• Border Optimization: Dadurch werden morphologische Prozesse wie Dilatation, Erosion und Extraktion 
(betrifft Unterobjekte, welche nicht am Rand eines Oberobjektes liegen), durchgefuhrt. 

• Make smaller Objects: Segmentiert ein Objekt in kleine Quadrate einer vom Benutzer angegebenen 
Seitenlange (in Pixel). 

• Multiresolution Segmentierung (siehe unten) 

• Contrast Segmentierung (siehe unten) 

• Edit image object level: dabei konnen sowohl selektiv die Quadtree - oder die Chess - Board - 
Segmentierung (siehe unten) angewandt werden oder Objektebenen konnen neu gebildet oder geloscht 
werden. 

• Find enclosed by class: Es werden Objekte klassifiziert, welche von einer oder mehreren vorgegebenen 
Objekten einer Objektklasse innerhalb einer Objektdomane eingeschlossen sind. 

• Find enclosed by Objekt: Hier werden wie oben Objekte klassifiziert, welche von einem bestimmten 
Objekt innerhalb einer vorgegebenen Objektdomane eingeschlossen sind. 

• Find lokal Extrema: Findet das Extremum (Minimum oder Maximum) innerhalb eines Objekts bezuglich 
eines zu wahlenden Merkmals. 

• Find domain Extrema: Findet Minima oder Maxima bezuglich eines zu wahlenden Merkmals innerhalb 
einer Objektdomane. 

• Connector: Verbindet Objekte von ausgewahlten Klassen via andere Klassen zu auswahlenden Klassen, 
bei gleichzeitiger Optimierung eines zu wahlenden Merkmals. 

Eine Erweiterung der Anzahl der angebotenen Algorithmen ist moglich. In Bild 4. sind die bisher implementierte 
Algorithmen aus der Perspektive der Benutzerschnittstelle zu sehen. 

Zu 2:Mogliclikcit der lokalcn Wirkiing von Prozessen, d.h. nur auf bestimmte, innerhalb eines Prozesses 
ausgewahlte Objekte hzw. Klassen: 

Parameter zur Reurteilung des Systcmzustandes, welcher in einem Bilddatensatz abgebildet wird, betreffen 
meistens nur bestimmte Objekte im Bild. Diese Systemparameter sind durch Merkmale und Beziehungen von 
Merkmalen bzw. Eigensc haften bestimmter Bildobjekte zu bewerten. Liegt also eine Fragestellung iiber einen 
Bilddatensatz vor. wic z.B. StraBencxtraktion, dann sollten bei der Analyse dieses Datensatzes, gezielt und von 
vorne herein nur die fiir die Beantwortung dieser Fragestellung relevanten Objekten z.B. StraBen als „Objects of 
Interest" gesucht werden. Hauser wurden z.B. in diesem Fall hochstens als Kontextinformation fur die 
StraBenextraktion von Relevanz sein. 

Die entsprech ende Prozefihierarchie sollte also diese „Objects of Interest" betreffen und sollte dazu dienen auch 
diese innerhalb der Szene zu finden. Bei StraBenextraktion soli also die entsprechende ProzeBhierarchie die 
StraBen innerhalb einer Szene finden. 

Zum Zwecke der Analyse einer Szene iiber „Objects of Interest", wurden unter Anderem folgende 
Grundstrategien erschaffen: 
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o Moglichkeit der gezielten und lokalen Anwendung aller Algorithmen. Das Attribut „lokal" betrifft hier 

sowohl das Bilobjekt- wie audi das semantische Netz. 
© Beliebige Kombination von Algorithmen miteinander. 
o Aufstellung eincs „DreiecksprozeBes": 

o Es werden drei Klassen von Objekten definiert: Seeds, Candidates, Targets: 

° Seeds: betreffen die „Keimobjekte" aus deren Entwicklung sich die Targets ergeben 
sollen 

° Candidates: sind Nachbarobjekte von Seeds mit bestimmten Eigenschaften. Seeds 

kbnnen z.B. mit Candidates fusionieren. 
° Targets: sind die „Objects of Interest", die Klassen welche die zu findenden Objekte 

beschreiben. 

° „Metatargets" entstehen durch morphologische Operationen zwischen Seeds und 
Candidates. 

o Es wird ein Abstand im Merkmalsraum zwischen „Metatargets" und Targets definiert. 

o Ziel ist, z.B. uber morphologischen Operationen zwischen Seeds und Candidates, Objekte d.h. 

„Metavargets" zu bilden, deren Abstand zu Targets sich kontinuierlich verkieinert, bis eine 

gewisse Ubereinstiinmung d.h. Abstand zu den Targets erreicht ist. 

Allerdings gibt es Fragestellungen, die sich auf die gesamte Information im Bilddatensatz beziehen. Die 
Software schliefit diese Art der Analyse nicht aus. Man kann „gleichzeitig" mehrere Prozesse fur mehrere Arten 
von „Objects of Interest" auf dem sclben Datensatz laufen lassen. In diesem Fall konnen die Klassen bzw. 
Prozesse miteinander „konkurrieren", wie z.B. ein ProzeB fur die Klasse „Flu6" mit einem ProzeB flir die Klasse 
„Land". Es handelt sich also hierbei urn „konkurrierende" Klassen. 

Die Lokalitat der Analyse erhoht die Robustheit der aufgestellten ProzeBhierarchie und verbessert der 
Ubertragbarkeit des aufgestellten Analyseverfahrens d.h. (ProzeB-, Objekt- und Klassenhierarchie) auf weitere 
Bilddaten. Diese Tatsache dient wesentlich der Automatisierung der Bildanalyse. 

Zu 3: Prozefibasierte Ivlerkmale: 

Die prozeBbasierten Merkmale wurden als Hilfsmittel geschaffen um Beziehungen zwischen Objekten zu 
beschreiben. Objekte werden uber Eigenschaften (Merkmale) anderer Objekte zu welchen sie in Beziehung 
gesetzt werden, klassifiziert. D.h. Objekte werden in Verhaltnis zu fremden Merkmalen klassifiziert. Beispiel: 
„5% heller als": Der entsprechende ProzeB kann wie folgt heiBen: fusioniere (Algorithmus) alle Objekte in der 
Nachbarschaft der Klasse ,,Gelb" (Objektdomane), welche 5% heller sind als diese Klasse. 

* Bild 5. zeigt die Hauptklassen der implementierten Merkmale. Aus der Kombination dieser hat der Benutzer die 
Moglichkeit, weitere Merkmale zu erstellen. 

Zu 4: Segmcntierung als ProzeB: 

Folgende aus der Literatur bekannten Segmentieralgorithmen sind bisher als Prozesse in der Software 
implementiert worden. Die Moglichkeit weitere Segmentierverfahren als Prozesse einzufuhren bleibt offen. 
Wichtig ist, daB diese Algorithmen sowohl lokal wie auch global und beliebig wiederholbar innerhalb eines 
Projektes an wend bar sind. 

Multiresolution Segmcntierung: 

Dieses Verfahren erzeugt Bildobjekte durch sukzessives paarweises „Merging". Die „paarweisen Merges" 
werden als Fusionen bezeichnet. Kleinere Objekte werden Schritt fur Schritt zu grofieren fusioniert. Die Fusion 
von zwei Objekten wird mit „Kosten" bewertet, die den resultierenden information sverlust" widerspiegeln 
sollen. Es werden solange Fusionen durchgefuhrt, bis die Fusionskosten eine vordefinierte Schwelle (Scale 
Parameter) uberschreiten. 

Die Fusionskosten berechnen sich aus einer gewichteten Summe eines Farbanteils und eines Formanteils. Der 
Farbanteil wird definiert durch die Anderung der Standardabweichung gewichtet mit der GroBe, der Formanteil 
durch den Vergleich der Kandlange mit Sollwerten abgeleitet aus GrOBe und „BoundingBox" der Objekte. 
Durch eine lokale Suchsu ategie wird gewahrleistet, daB stets Objekte fusionieren, fiir welche die Kosten lokal 
minimal sind. 



Fur die generclle Beschreibung siehe auch eCognition User Guide 3.17ff, eine exakte Definition der 
Kostenfunktion fmdet man in eCognition User Guide 3.22 

Im Anhang enlsprechende Publikation: Baatz, M. & Schape, A: Multiresolution Segmentation - an 
optimization approach for high quality multi-scale image segmentation. Strobl, Blaschke & Greisebner (Edts): 
Angewandte Geographische Informationsverarbeitung XL Beitrage zum AGIT-Symposium Salzburg 1999 

Kontrast Segmentation: 

Das Verfahren hat groRe Ahnlichkeit zur Multiresolution Segmentation. Es verwendet jedoch eine andere 
Kostenfunktion und versucht statt lokal, global minimale Fusionskosten zu erreichen. Als Abbruchkriterium 
dient die aktuellc mittlere ObjektgrdBe. 

Kostenfunktion: 

Fusionskosten k = f° |m , - m 2 | 

f = 4 min ( r h v 2 ) falls r, und r 2 < 0.5 
f = 2 max ( r ls r 2 ) falls r, oder r 2 > 0.5 

m: Farbmittelwert 

r: relative Kantenlange der Beruhrkante der fusionierenden Objekte 
f: Formfaktor 

Mit a ist Gewichtung des Formfaktors bezeichnet. 

Statt mit lokaler Suche arbeitet das Verfahren in „Durchlaufen". In jedem Durchlauf werden die n besten 
Fusionen ausgefuhrt. Je groBer n desto schneller arbeitet das Verfahren, dabei nimmt jedoch die Qualitat der 
Resultate ab. 

Quad-tree Scgmentierung: 

Dieses Verfahren erzeugt einen Quadtree. Dabei werden je vier Quadrate zusammengefasst, wenn gilt: 
max color - min color < 0 

Das Maximum und Minimum wird dabei jeweils uber alle Pixel des resultierenden Quadrates ermittelt. 
Chess Board Scgmentierung: 

Dieses Verfahren erzeugt Quadrate gleicher Grofie. Die GroBe der Quadrate ist dabei frei wahlbar. 
Implementierung einer multiskalaren und klassifikationsbasierten Segmentierung: 

Neben den beschriebenen globalen Segmentierverfahren, gibt es die Moglichkeit Bildobjekte anhand ihrer 
Klassifikation zu kombinieren. Dazu konnen Bildobjekte fusioniert werden, ihr Ober - Objekt wechseln 
(Randoptimierunu) oder fur sich ein eigenes Oberobjekt (Extraktion) erzeugen. 



Werden diese Verfahren zusatzlich mit einer Kostenfunktion bewertet, so ergibt sich hier ein breites Spektrum 
leistungsfahiger und adaptierbarer Segmentieralgorithmen. 

Die Obengenannten Segmentierverfahren konnen innerhalb eines Prqjektes miteinander kombiniert werden. 
Segmentieralgorithmen werden als Algorithmen innerhalb von Prozessen eingefuhrt. Diese Einbindung dient der 
Flexibility und Robustheit der Analyse. 

Bild 6. zeigt ein Beispiel aus der Anwendung der vorgestellten Software zu automatischen StraBenextraktion. Es 
handelt sich hierbei um einen Ausschnitt aus einer KONOS - 

Szene (Brevard County, Florida, USA), Auflosung 4m Multispektral und lm Panchromatisch, resampled auf 4m 
Die Daten wurden Defmiens AG von Satelliten Betreiber Space Imaging Inc.zur Verfugung gestellt. StraBen 
sind in rot dargestellt. Die Bildanalyse wurde von Prof. Dr. G. Binnig durchgefiihrt. 

2. 2. Die spezielle Anwendung auf elektronenmikroskopische Bilddaten 
(amoBi2): 

Die oben beschrieben Software zur Bildanalyse wurde wie auch im Forschungsantrag amoBi2 beschrieben ist, 

auf elektronenmikroskopische Bilddaten angewandt. Dabei wurden Prozesse entworfen, welche speziell zur 

Analyse von medizinisch relevanten Objekten fur die Definition von Schadensparametern dienen. 

Definition von gceignctcn, ubertragbaren Klassenhierachien zur Analyse der elektronenmikroskopischen 

Bilder: 

In Zusammenarbeit mil dem Institut fiir Chirurgische Forschung wurden die zur Definition von 
Schadensparametern notwendigen Klassen definiert. Diese Definition basiert auf langjahrigen histologischen 
Untersuchungen von Medizinern im Institut und umfaBt eine Auswahl von ttber 1000 
elektronenmikroskopischen Bildern. Die visuelle Auswertung wurde im Rahmen langjahriger Forschungsarbeit 
von Frau Dr. Dr. Leiderer und Mitarbeitern an unterschiedlichen Fragestellungen durchgefuhrt. 
Die wichtigsten visuell erkennbaren Klassen und Objekte bei einer Auflosung von x3000 sind folgende: 
Leberzelle: Mitochondrien, Nucleus mit Euchromatin, Heterochromatin und Nucleolus, , Lysosomen, Vacuolen. 
Sinusoid mit Lumen, Endothelzelle, Disse Raum und Mikrovilli. 

Bild 7. zeigt einen originalen Datensatz d.h. elektronenmikroskopische Aufhahme von Lebergewebe der 
Sprague Dorley Rattc. Dabei wird auf die wichtigsten Objekten, soweit sie im Bild vorhanden sind, zur 
Definition von Schadensparametern verwiesen. 

Sinusoide sind weite Kapillaren, in denen das Blut innerhalb der Leberlappchen von den Vv. u. Aa. 
interlobulares in Richtung Zentralvene fliefit (Arbeits - und Emahrungskreislauf der Leber). 
Das Lumen im Sinusoid ist der Aufenthaltsort lebertypischer Makrophagen, der Kupffer-Zellen. Sie liegen 
normalerweise den Endothelzellen an, die das Lumen vollstandig auskleiden, aber gefenstert sind. Die 
Fenestrierungen ohne Diaphragmata verbinden das Lumen mit dem Disse - Raum; dieser liegt zwischen 
Endothel und Leberzellen und ermoglicht den Stoffaustausch zwischen Blut und Hepatozyt 
In den Leberzellen kommen sowohl groBe, runde Zellkerne wie auch viele Mitochondrien vor. Mitochondrien 
dienen insbesondere der Bereitstellung von Energie. Primare Lysosomen enthalten lytische Enzyme, vor allem 
saure Hydrolascn. Sie bauen u.a. zelleigenes Material ab (Autophagic). Das rauhe endoplasmatische Retikulum 
(RER) sammelt Proteinc. die an den an seiner Aussenmembran verankerten Ribosomen synthetisiert werden. Es 
bildet Transport vesikel, die zum Golgi - Apparat (sehr selten in Aufhahmen zu finden) und zur Zellmembran 
wandern. 

Der Grauwertbcreich der elektronenmikroskopischen Bilder bildet wie folgt den Grad an Elektronendichte der 
im Gewebe (Schnitt) zu beobachtenden Objekte: bei groBer Elektronendichte erscheinen die Objekte dunkel, bei 
kleiner Elektronendichte erscheinen die Objekte hell. Die Elektronendichte von Lumen ist z.B. gering, wobei die 
der Lysosomen hoch ist und deswegen erscheinen diese im Bild relativ dunkel. 

Was eCognition - Cytaron bei der Analyse von Elektronenikroskopischen Bildern 
leistet: 

In dem Bericht werden die Ergebnissen aus 9 Trainingsbildern und 10 Testbildem 
(Klassifikationsgenauigkeitsanalyse) besprochen. 



air 



Das Bildmaierinl: 

Nachteile: Das Ausgangsbildmaterial zeigt Helligkeitsinhomogenit&ten, weil es im Rahmen einer langjahrigen 
Forschungstatigkeit zur visuellen Auswertung erstellt und deswegen unterschiedlich, sowohl am 
Elektronenmikroskop (Schnitte) wie audi bei der Entwicklung der Bilder selber, belichtet wurde. 
Vorteile: A lie uns zu Verfugung sichenden Bilddaten sind bei unterschiedlichen schon abgeschlossenen 
klinischen Untersuchungen entstanden. die sich mit relevanten aktuellen Fragen in der Chirurgische Forschung, 
wie z.B. Operation und Transplantation der Leber beschaftigen. 

Dabei sind wichtige Schadensparameter zu Beurteilung des Gewebezustandes ermittelt worden. 

Diese wurden durch wissenschaftlichen Publikationen und Vortrage auf einem hohen internationalen Niveau 

prasentiert und mehrmals bestatigt. 

Die Praprozessicrung der Daten hat sich auf eine einfache Normierung beschrankt, da die Uberzeugung bestand, 
daB durch die vorgestellte Software auch bei nicht so guter Qualitat von Bildmaterial eine gute Analyse - 
Ausbeute erzieh werden kann. 

Die Normierunn der Bilddaten: 

Es wurde uber den Helligkeitswert der Pixel innerhalb des jeweiligen Bildes normiert: 

Xnorm = 127 + (X - Xmittel) / StdV 

Wobei Xnorm: der normierte Helligkeitswert vom aktuellen Pixel, Xmittel: der Helligkeitsmittelwert tiber das 

ganze Bild, StdV: die Standard Abweichung der Helligkeit tiber das ganze Bild, ist. 

Bemerkungen: 

© Der Bereich Endothel und Disse - Raum ist in den meisten Fallen das, was iibrig bleibt, wenn man sich 
vom Sinusoid das Lumen und dessen Inhalt weg denkt. Die Klasse kann relativ zum Sinusoid und 
Lumen definiert werden und laBt sich tiber die Unterobjekte von Sinusoid d.h. Lumen, Endothel, Disse 
- Raum und Lumen - Inhalt, erkennen. 

o Objektklassen konnen dann gefunden werden, wenn sie uberhaupt in den analysierten Bildern 
vorhanden sind. Vakuolen z.B. sind groBe, runde, sehr helle Objekte, welche beim geschadigten 
Leberg ewebe sehr oft zu sen en ist. In den vorgestellten Trainings und Testdaten kommen keine 
Vakuolen vor, da diese unbehandeltes Gewebe zeigen. 

o Primai c Lysosomen sind relativ einfach zu finden soweit sie rund, sehr klein und sehr dunkel sind. 

o Endoplasmatisches Retikulum, ist soweit es in Stapeln vorliegt bei der Bildanalyse zu finden. 

© Lumen inhalte, wie z.B. Kupffer - oder sonstige Blutzellen konnen gut erkannt werden, soweit sie von 
Lumen vollstandig umgeben sind. Lumeninhalte treten meistens bei behandeltem Gewebe auf. 

o Dieser Bericht beschrankt sich auf die typischen und wesentlichen Objekte, welche sowohl beim 
behanddten wie auch beim unbehandelten Lebergewebe zu sehen sind. 

Die Erstellung von Prozessen am Beisniel von „Suchen" und „Finden" von Mitochondrien im Bild: 
Die Idee: 

Dem ProzeB liegt die Beobachtung zu Grunde, daB im Verlauf einer Segmentierung viele Mitochondrien recht 
gut gefunden werden. Im Konkreten wurde das Kontrast - Verfahren eingesetzt, prinzipiell ware ebenso auch 
das Multiresolution - Verfahren moglich. Das generelle Problem der Segmentierverfahren ist jedoch, daB der 
Steuerparameter (mittlere ObjektgroBe/Scale Parameter) je nach Bild unterschiedlich gewahlt werden muB, 
haufig sogar innerhalb eines Bildes unterschiedliche Parameter fur optimale Ergebnisse erforderlich sind. 

Um diese Problcmatik zu Ibsen wurde folgender Ansatz gewahlt: 

1. Segment iere das Bild bis zu einer gewissen (sehr kleinen) Schwelle 

2. Suche im Ergebnis nach Mitochondrien 

3. Segment iere das Bild mit einer um einen kleinen Wert grbBeren Schwelle 

4. Suchc im Ergebnis nach Mitochondrien 

5. Vergleiche die Ergebnisse beider Schwellen miteinander und behalte die jeweils „besseren" 
Mitochondrien 

6. Die Schritte 1-5 werden so lsnge wiederholt bis die aktuelle Schwelle einen deflnierten Endwert 

uberschreitet. 

Mitochondrien werden dabei nach folgenden Kriterien beurteilt: 

1. Farbcmittelwert liegt im Bereich [50. ..150] 

2. GroBe (Anzahl Pixel) liegt bei dieser Auflosung im Bereich [500. ..4000] 

3. Die Form 

a. mogliche Mitochondrien (Klasse „perhaps a mitoch") 
i. Elliptic Fit ist grofler als 0.8 



ii. Elliptic Fit / Shape Index ist groBer als 0.5 
b. stchere Mitochondrion (Klasse „final mitoch 2") 

i. Elliptic Fit / Shape Index ist groBer als 0.6 
4. mogliche Mitochondrien werden zu sicheren Mitochondrien (Klasse „final mitoch 1"), wenn sie 
beginncn sich wahrend der Segmentierung zu verschlechtern. 

Elliptic Fit: dieses Merkmal wird aus der Covarianzmatrix der Pixelkoordinaten des Objekts bestimmt. Nach 
Berechnung von Eigenwerten und Eigenvektoren werden die Eigenvektoren normiert und justiert, so daB daraus 
das*. Objektkooidinatensystem bestimmt werden kann. Daraus wird die Boundingbox des Objekts bestimmt 
worauf dann eine Ellipse gezeichnet wird, deren charakteristische Eigenschaft ist, daB sie diejenige Ellipse ist, 
deren Achsen - Verhaltnis dem Verhaltnis von Lange durch Breite der Boundingbox des Objektes entspricht. Sie 
hat die selbe Flache wie das Objekt Zentrum der Ellipse ist der Schwerpunkt des Objekts. Man zahlt dann, wie 
viele Pixel des Objektes innerhalb der Ellipse liegen: 

f = Pixel des Objektes in der Ellipse / Gesamt Zahl der Objektpixel 
Der Elliptic Fit ist dann als: 

2f-l falls f>0.5 
0 sonst 

deflniert. 

Shape Index: dieses Merkmal ist als die Randlange des Umfangs eines Objektes, dividiert um das Vierfache der 
Quadratischen Wurzel aus seiner Flache. Der Shape Index ist als MaB ftir die Glatte der Kontour des Objekts 
definiert. Je glatler die Kontour um so kleiner der Wert vom Shape Index. Sein Wert liegt uber 1. da der Shape 
Index eines rasierparallclen Quadrates den Wert 1 hat. 

Die Bilder 9 bis 13 zeigen als Beispiel unterschiedliche Iterations schritte beim AufTinden von Mitochondrien 
und den entsprcchenden ProzeBbaum, Rcgelsatz, Zwischen- und Endergebnis aus den Trainingsdaten. 

Bilder 14 und 15 zeigen auch reprasentativ fur die Trainingsdaten die Ergebnisse aus der Anwendung der 
-aufgestellten Prozessen fiir Lumen, Zellkerne, Sinusoid und Leberzellkerne. 

Soweit es dem Forschungsteam bekannt ist, sind Ergebnisse alinlicher Qualitat auf EM - Bilddaten aus der 
Literatur nichl bekannt. Die Qualitat dieser Auswertungen laBt sich auch an den Testdaten, wie unten 
beschrieben wird, bestatigen. 

-Jeder Benutzer hat mittels der vorgesvellten Software die Moglichkeit ahnliche, Oder eigene Prozesse zu 
entwickeln und an unterschiedlichen Bilddaten anzuwenden. 

Die Genauigkeii der Bildanalyse unter Anwendung des oben beschrieben Verfahrens wurde bei einem 
automatischen Pest an 10 EM - Testbildern untersucht. Das Untersuchungsverfahren und die daraus 
gewonnenen Ergcbnissen werden unten prasentiert. 

Benchmark: 

Grunduberlegung zur Ei stellung eines Benchmarks fur die speziellen Anwendung an EM - Bildern der Leber: 

• Es gibt bisher keine vollautomat ische Bildanalyse Software fur EM - Aufhahmen der Leber 

• Es gibr bisher keine: 

o Multiskalare 
o Objektorienterte 

Bildanalyse Software um einen direkten Vergleich zur ermdglichen 

• Wir haben Experten (Mediziner) die sich intensivst iiber Jahre mit den von uns ausgewerteten Bilder 
beschaTtigt haben und eine visuelle Auswertung mehrmals durchgefuhrt haben. 

Folglich so 1 1 re die Software direkt mit einer durch den Mediziner ausgefuhrten Auswertung verglichen werden. 
Deswegen haben wir folgende Vorgehensweise gewahlt: 

Die Vorgehensweise beim Benchmark: 
Testset: 

- 10 Bilder 

- Scnnnen: 800 dpi 



- Runterscalieren auf 25 %, bicubisch 

- Normieren 

• Masken Erstellung durch den Mcdiziner: 

- Erstellen mit PaintshopPro 

- Bild laden 

- Bin Grauwert fur eine der folgenden Klassen ( ein Zahlenwert 

fur eine Farbe -> Exelltabelle zum Festlegen der Werte): 
Maskenklassen: 

Mitochondrien 
Nucleus Leberzelle 
Sinusoid 

Nucleus im Sinusoid 
- Lumen 

• Maske und Original im Program m laden, 

• Analyse auf das Original durch fiihren 

• Vergleich zwischen den Ergebnissen aus der automatischen Analyse am Original und der Maske. 
Dieser Vergleich wird automatisch von der Software durchgefuhrt. 

• Statist ische Erfassung des Vergieichs, wird von der Software automatisch durchgefuhrt. 

Die statistische Erfassung erfolgte zur jeweiligen Objektart: 
o Objektname 
Drei Klassen von Treffern: 

1 . Richtig 

2. Falsch positiv 

3. Falsch negativ 
Objektbasicrtcr Benchmark (Accuracy Assesment) 

Bild 16 zeigt den objektweisen Vergleich der automatischen Auswertung mit einer manuellen Auswertung 
(Maske). 

Verfahren 

Fur jedes Bildobjekt A 

1. bestimme das Objekt M A in der Maske mit maximalem Uberlapp, d.h: 
die Arca(AOM) ist maximal iiber alle Maskenobjekte M. M A heiftt das zu A gehorende Maskenobjekt. 

2. fiir M A berechne 

a. & A = Area(AH M A ) / Area(A) 

b. 8 M = Area(AO M A ) / Area(M A ) 

3. Bewerlung 

a. gehort M A zu einer anderen Klasse als A (K(A)#K(M A )), so gilt A als falsch positiv 
gefundenes Objekt 

b. ist $ A < V2, so gilt A als falsch positiv gefundenes Objekt 

c. ist 3 M < V*, so ist A zwar richtig, reprasentiert aber nicht das Maskenobjekt in ausreichender 
Weise (A ist ein Teilstiick von M) 

d. gilt S A > 14 und $ M > X A , so gilt A als richtig gefundenes Objekt 




S A < V2: Das rote Bildobjekt ist erheblich grofter als das grune Maskenobjekt. 
Das rote Bildobjekt gilt als falsch positiv. 



$b < '/:>: Das rote Bildobjekt ist erheblich kleiner als das grime Maskenobjekt. 
Die Klassifikation ist zwar nicht falsch, doch das zu fmdende Objekt wird 
nicht richtig wiedergegeben. 



Definition clcr Bcwcrtungs Parameter 

1 . mask objects: Anzahl der Objekte in der manuellen Auswertung 

2. result objects: Anzahl der Objekte in'der automatischen Auswertung 

3. mean overlap: Mittelwert der $ A fur alle Objekte A mit richtiger Klassifikation (d.h. K(A)=K(M A ) 

4. correct hits: Anzahl richtig gefundenen Objekte (S A > 0.5 und 3 M > 0.5 und K(A)=K(M A )) 

5. mean overlap: Mittelwert der $ M uber alle richtig gefundenen Objekte 

6. falsch positiv: Anzahl aller falsch positiv gefundenen Objekte (($ A < 0.5 oder K(A)^K(M A )) 

7. falsch negativ: mask objects - correct hits 

Weiteres 

1. Als Schwellen sind naturlich auch beliebige andere Werte als 0.5 denkbar... 

2. Fur die Klassen Endothel, Lumen und Nucleus wurde fur Maskenobjekte eine MindestgroBe von 10.000 
Pixeln angesetzt 

Pixelbasiertc Bewertung der Klassifikationsgenauigkeit (Accuracy): 

Zur pixelbasierten Genauigkeitsmessung der Klassifikation werden zwei MaBe benutzt. Es wird eine 
^Confusion" - Matrix ersteilt, welche im Vergleich zu den benutzten Maskenklassen fur jede Klasse in Pixel die 
Klassifikationsergebnisse angibt. Wir benutzen die „Producer" und die „User" Klassifkations - Genauigkeit 
(Accuracy). 

Definitionen: 

Producer Accuracy: Gibt an, wie gut die Klassifikation mit der Referenz (Maske) - Klassifikation ubereinstimmt. 
Sie ergibt sich aus der Anzahl der korrekt klassifizierten Pixel zur Gesamtzahl der Referenzpixel (Klasse auf der 
Maske). 

User Accuracy: Gibt in % an, ob die klassifizierten Pixel im Vergleich zur Maske richtig klassifiziert sind. 
Anhand einer Beispiel Matrix werden die GenauigkeitsmaBe, die wir benutzen erklart: 



Referenz K las si "f i kation 

O Class 2 Class 3 &osamr 

-f=I Class 1 

" •— Class 1 50 O O 50 

*V> Class 2 40 lOO 60 200 

Q Class 3 lO O 40 50 

=fc ^ Gcsott lOO lOO lOO n=300 

Bezeichnumien: Producer Accuracy (PA), User Accuracy (UA) 

„ PA UA 

Class 1 0.5 1.0 

Class 2 1.0 0.5 

Class 3 0.4 0.8 

Das in der obigen Tabelle dargestelltc Beispiel wurde dem „USER Guide" fur eCognition - Geo 2001 
entnommen. 

Bei eCognition - Cytaron kann die Klassifikationsgenauigkeits - Analyse sowohl objekt- wie auch pixelbasiert 
automatisch durchgefiihrt werden, vorausgesetzt die Masken sind manuell vom Experten (Mediziner) 
angefertigt: 

Testbild wird im Programm geladen und unter Anwendung der zur testenden Prozesse 
automatisch analysiert. 

• Uber die Benutzerschnittstelle wird die vom Mediziner angefertigte Maske geladen. 

• Die Berechnung des Klassifikationsgenauigkeits - MaBe werden uber Knopfdruck automatisch 
durchgefuhrt. 

• Die Ergebnissen konnen automatisch in Excel - oder *.txt Files gespeichert werden. 

Auf die Testbildern wurde auf diese Art sowohl die objekt- wie auch die pixelbasierte 
Klassifikationsgenauigkeits - Berechnung durchgefuhrt. Die Ergebnissen wurden statstisch erfaBt und in 
Graphiken wie auch in Tabellen dargestelit. 



So 



Ergebnissc: 



Insgesamt wurden zur Klassifikationsgcnauigkeits - Analyse 10 Testbilder benutzt. Fur jede der gesuchten 
Klassen, wurde sowohl fur jedes Bild wie auch fiir alle 10 Bildern Statistiken Uber die Ergebnisse erstellt. 
Was ist bei diesen Genauigkeitsmessungen besonders aufgetreten: 

o Ein groBes Objekt in der Maske kann uber mehrere Objekte bei der Analyse klassifiziert werden: oft 
grofie Objekte wie z.B. Sinusoid werden nicht als Ganzes, sondern als BruchstQcke des Ganzen 
gefunden. Beispiel dazu fur das Sinusoid: bei 12 und in Tabelle 4,.wurden 106 Objekte start einem 
gefunden. Diese aber sind richtig, da es keinen falsch positiven und keinen falsch negativen gibt, 
sondern nur einen TrefFer (hit). D.h. in diesern Fall, dafi alles was, als Sinusoid klassifiziert wurde, auch 
Sinusoid ist. Dies wird auch aus der objektbasierten Genauigkeits — Analyse ersichtlich. Die Producer 
Accuracy ist in diesem Fall 0 : 5769, da nicht das ganze sondern nur der groBte Teil vom Sinusoid 
gefunden wurde (Tabelle 6). Die visuelle Kontrolle (Bild 26) uber das Ergebnis best&tigte dieses 
Verhalten. Dabei konnten der Zelikern im Sinusoid und seiner nahere Umgebung nicht gefunden 
werden. 

o Die bei der automatisch errechneten User Accuracy Werte liegen im Bereich von 1. Diese Wert kann 
nicht als exakt richtig betrachtet werden, da nicht alle Objekte die einer Klasse zugeordnet wurden, 
auch Treffer sind. 

Mitochondrion: in Bild 25 ist reprasentativ fur das Testset ein Ergebnis fur Mitochondrien. Tabellen 1 bis 3 und 
Bilder 17 bis 20 zeigen die Statistik fiber die Ergebnisse aus der Klassifikations - Genauigkeitsmessung fur 
Mitochondrien fur jedes und fur alle Testbilder 



Bei dem objektbasierten Test liegt die mittlere Oberlappung (mean overlap) der korrekten Treffer (correct hits) 
zwischen 82% (12) und 91% (II). D.h. es konnen zwar mehr oder weniger Mitochondrien als in der Maske, 
gefunden werden, diejenigen aber, die korrekt gefunden wurden, zeigen ein hohes Mafi an 
Klassifkationsgenauigkeit, d.h. werden gut in Form und Grofie gefunden. Der mittlere Uberlapp uber alle 
Testbilder und bei den korrekt gefundenen Mitochondrien liegt bei 87% und zeigt eine sehr kleine 
Standardab we i chung von 0,02. 

Beim entsprechenden pixelbasierten Verfahren variiert die Producer Accuracy zwischen 15% (16) und 74% 
(II). Das Ergebnis entspricht der Tatsache, dafi meistens mehr Mitochondrien gefunden werden, als in der Maske 
ausgezeichnet sind. Diese Tatsache bilclet sich auch beim niedrigen Uberlappungswert bei den gefundenen 
Mitochondrien (objektbasiert, result objects und deren mean overlap) ab. Der Mittelwert der Producer Accuracy 
uber alle Testbilder liegt bei 52% (Bild 20) mit einer Standard Abweichung von 0,17. 

Sinusoid: in Bild 26 und Bild 29 sind representative Ergebnisse fur Sinusoid zu sehen. Tabellen 4 bis 6 und 
Bilder 21 bis 24 zeigen die Statistik uber die entsprechenden Ergebnisse. 

Bei dem objektbasierten Test liegt die mittlere Oberlappung (mean overlap) der korrekten Treffer (correct hits) 
zwischen 0% (16, 17) d.h. nicht gefunden und 96% (II). Die Ergebnisse aus dem Bild 12 wurden oben begrundet. 
Der mittlere Uberlapp uber alle Testbilder und bei den korrekt gefundenen Sinusoiden liegt bei 68% und zeigt 
eine Standardabwei chung von 0,38. 

Beim entsprechenden pixelbasierten Verfahren liegt variiert die Producer Accuracy zwischen 57 % (12) und 
96% (II). Der Mittelwert der Producer Accuracy uber alle Testbilder liegt bei 0,78 (Bild 24) mit einer Standard 
Abweichung von 0,29. 

Nucleus Lcherzclle: im Bild 27 ist reprasentativ ein entsprechendes Ergebnis von den Testdaten zu sehen. 
Tabellen 7 bis 10 zeigen die Statistik uber diese Ergebnisse. 

Bei dem objektbasierten Test liegt die mittlere Oberlappung (mean overlap) der korrekten TrefFer (correct hits) 
zwischen 0% (14) (wcil es in diesem Bild keinen Leberzellkern gibt) und 99% (15, 19). Der mittlere Uberlapp 
uber alle Testbilder und bei den korrekt gefundenen Zellkerne liegt bei 86% und zeigt eine Standardabweichung 
von 0,308. 

Beim entsprechenden pixelbasierten Verfahren variiert die Producer Accuracy, soweit der existierende Zelikern 
gefunden wird, zwischen 72 % (17) und 9S% (13, 16). Der Mittelwert der Producer Accuracy Uber alle Testbilder 
liegt bei 0,81 und zeigt eine Standard Abweichung von 0,29. 

Lumen: in Bild 28 ist reprasentativ ein Ergebnis aus den Testdaten fur das Lumen. Tabellen 1 1 bis 14 zeigen die 
Statistik uber diese Eriiebnisse. 

Bei dem objektbasierten Test liegt die mittlere Oberlappung (mean overlap) der korrekten Treffer (correct hits) 
zwischen 0% (15) (weii in diesem Bild der Lumen sehr kiein ist) und 98% (110). Der mittlere Uberlapp uber alle 
Testbilder unci bei den korrekt gefundenen Zellkerne liegt bei 53% und zeigt eine Standardabweichung von 0,46. 



zusammen. 




Beim entsprcchenden pixelbasierten Vcrfahren variiert die Producer Accuracy zwischen 26 % (15) und 98% 
(110). Der Mittelwert der Producer Accuracy iiber alle Testbilder liegt bei 0,65 mit einer Standard Abweichung 
von 0,344. 

Alle Zellekcrne im EM - BHd: Tabellen 1 5 bis 18 zeigen die Statistik tiber die entsprechenden Ergebnissen. Bei 
dem objektbasierten Test liegt der mittlere Uberlapp (mean overlap) der korrekten Treffer (correct hits) 
zwischen 0% (14) (weil es in diesem Bild keinen Zellkern gibt) und 99% (19). Die mittlere Uberlappung iiber alle 
Testbilder und bei den korrekt gefundenen Zellkerne liegt bei 86% und zeigt eine Standardabweichung von 0,30. 
Beim entsprechenden pixelbasierten Vcrfahren variiert die Producer Accuracy zwischen 59% (II) und 98% 
(13). Der Mittelwert der Producer Accuracy uber alle Testbilder liegt bei 0,71 mit einer Standard - Abweichung 
von 0,27. 

Insgesamt sind die untersuchten Objektklassen mit dem vorgestellten Verfahren gut zu finden. Ein solches 
Ergebnis ware bis heute nur manuell und mit entsprechender Miihe seitens des Benutzers verbunden. 

2.3. Evaluierung der Software an Hand von klinischen Untersuchungen 

Im Anhang beflndet sich eine am Instimt fur Chirurgische Forschung und an der Chirurgischen Klinik der 
Ludwig Maximilians Universitat Munchen durchgefuhrte Evaluation der Software. Die Frage war, ob die 
vorgestellte Software zur Unterstutzung von biomedizinischen Fragestellungen geeignet ist. 
Die entsprechende Studie wurde an klinischen und elektronenmikroskopischen Daten der Mausleber 
durchgefuhrt und hatte als Thema: Ermittlung der geeigneten Temperatur bei der Lebertransplantation am 
Modell Mans. Bisher wird die Organtcmperatur bei der Transplantation bei 4 Grad Celsius gehalten. Eine 
Erhohung dieser Temperatur wurde sowohl manche Probleme, die bei der Reperfusion der Leber nach der 
Transplantation auftreten, als audi die Pur den Patienten unangenehmen gesundheitlichen Folgen wie z.B. 
Lungenentziindung (wegen der Kalte), vermindern. 

Ziel war also dabei zu zeigen, da/3 Organtemperatur bei der Transplantation der Leber von iiber 4 Grad Celsius 
wie z.B. 15 und 26 Grad, genauso geeignet sein konnten. Die klinische Untersuchungen haben gezeigt, dafl das 
Gewebe bei 26 Grad sehr groBe Ahnlichkeit mit dem Gewebe bei 4 Grad zeigt. Dies wurde neben den klinischen 
auch von visuellen Auswertungen entsprechenden elektronenmikroskopischen Bildern unterstutzt. Schwierig 
war es aber die Ergebnisse bzw. Erkenntnissen aus der Analyse der Bilddaten genau statistisch zu erfassen. 
Diese Aufgabe wurde gezielt fur die „Eiijnung" der Software gestellt. Die spezielle Frage war, ob es uberhaupt 
moglich ist, die Ergebnisse der Medizinem iiber die Software statistisch genauer zu erfassen. D.h. ob das System 
uberhaupt fur solche Aufgaben geeignet ware. Die Ergebnisse dieser Untersuchungen werden in der im Anhang 
befindenden Publikation beschrieben. 

Die Publikation wird demnachst in dem .. journal of electron microscopy" erscheinen. 
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In dem vorliegenden Bericht werden die wichtigsten Ergebnisse fur den ersten Meilenstein des 
Forschungsprojektes amoBi2 (automai ische, multiskalare, objektorientierte Bildanalyse in Biomedizin) 
dargestellt. Die gestellte Aufgabe war es, ein auf der Definiens AG - Technologie basierendes Verfahren zu 
entwickeln, welches zur automatischen Bildanalyse von elektronenmikroskopischen Aufnahmen (EMs) am 
Beispiel der Maus - bzw. Rattenleber gecignet ist. 

Aus der von der Definiens AG in Auftmg gegebenen Marktanalyse fur das Produkt „eCognition Med" ist zu 
entnehmen, daB die Mikroskopie in ihrc unterschiedlichen Formen fur die Forschung und Entwicklung in der 
Biotechnologie bzw. Biomedizin ein nicht weg zu denkendes Werkzeug ist. Im Speziellen wird die 
Elektronen mikroskopie wegen ihres hohen Auflosungsvermogens in den nachsten Jahren an Bedeutung 
gewinnen. 

Basierend auf die schon existierende „eCognition Geo" - Software wurde die„eCognition Cytaron" Software als 
Prototyp entwickelt. Wichtige Merkmale dieses Prototyps sind die Prozess-, Objekt - , Algorithmen - und 
Klassendomanen. Innerhalb von Prozessen konnen in einem Bild Algorithmen nur auf bestimmte ausgewahlte 
Klassenobjekte wirken. Damit kann der ganze Bildanalyseprozess innerhalb eines Bildes, gezielt nur auf „objects 
of interest" durchgefuhrt werden. 

Wichtige Schadensparameter fur die Leber sind an morphologischen Eigenschaften von Bestandteilen der 
Leberzelle wie z.B. Mitochondrien und Zellkern, wie auch Bestandteile des Sinusoids (BlutgefaB) wie Lumen, 
Lumeninhalte und Endothel definierbar. Bei elektronenmikroskopischen Aufnahmen sind diese „Objekte" 
visuell gut zu erkennen. Diese „Objekte" wurden als „Objects of Interest" definiert und innerhalb von EMs 
gezielt mit „eCognition Cytaron" gesucht. Fur diesen Zweck wurden an Train ingsdaten spezielle dynamische 
Regelsatze, basierend auf vernetzte Prozesse, entwickelt. Ein einfaches Benchmark wurde als 
„Klassifikationsgenauigkeits - Analyse" fur diese Prozesse an Testdaten, sowohl „objekt - " wie auch 
„pixelbasierl" durchgefuhrt. 

Die Ergebnisse zeigen, daB mit „eCognition Cytaron" die obengenannten Bestandteile des Lebergewebes 
automatisch als „Objects of Interest" gut zu finden sind. Die statistische Analyse der morphologischen 
-Eigenschaften dieser Objekte wird iiber die Software ermoglicht und bleibt dem jeweiligen Benutzer uberlassen. 
Die Software, obwohl sie als Prototyp vorhanden ist, bietet ein benutzerfreundliches GUI. 
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Anspruche 

1. Computerimplementiertes Verfahren zum Organisieren 
5 von Objekten in einer Datenstruktur , das die Schritte auf- 

weist : 

a) Festlegen eines Zielobjekts; 

b) Auswahlen eines Objekts von Interesse; 

c) Durchfuhren einer strukturbildenden Operation des 
10 Objekts von Interesse mit mindestens einem Kandidatenob- 

jekt, falls eine mit dem Zielobjekt in Bezug stehende vor- 
bestimmte Bedingung zwischen dem Objekt von Interesse und 
v dem mindestens einen Kandidatenobj ekt erf till t ist; und 

d) iteratives Durchfuhren des Schritts c) , wobei ein 
15 sich aus der strukturbildenden Operation ergebendes Objekt 

als das Objekt von Interesse verwendet wird, wobei: 

das Objekt von Interesse. ein Merkmal aufweist, das eine 
evolutionare Entwicklung des Objekts von Interesse beim 
iterativen Durchfuhren des Schritts c) anzeigt. 

20 

2. Verfahren nach Anspruch 1, wobei als das mindestens 
eine Kandidatenobj ekt mindestens ein Objekt verwendet wird, 
das sich in einer vorbestimmten Nachbarschaf t zu dem Objekt 
von Interesse befindet. 

25 

3. Computerimpl-ementiertes Verfahren zum automatischen 
Erzeugen und Andern von Objekten oder eines Objektnetzes 
oder -baums mittels Objektklassen, wobei das Verfahren die 
Schritte aufweist : 

30 a) Festlegen mindestens jeweils einer Objektklasse als 

eine Keimklasse, eine Kandidatenklasse und eine Zielklasse; 

b) Durchfuhren einer Klassif ikationsroutine beziiglich 
den eingegebenen Objekten unter Verwendung der Keimklasse, 
um diejenigen eingegebenen Objekte, die als der Keimklasse 

35 zugehorig bestimmt werden, als Keimobjekte zu 
klassif izieren; 
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Durchftihren einer Klassif ikationsroutine bezuglich den 
eingegebenen Objekten unter Verwendung der 

Kandidatenklasse, urn diejenigen eingegebenen Objekte, die 
als der Kandidatenklasse zugehorig bestimmt werden, als 
5 Kandidatenobjekte zu klassif izieren; 

d) Durchftihren einer strukturbildenden Operation der 
Keimobjekte mit jeweils einem Kandidatenobjekt; 

e) Durchftihren einer Klassif ikationsroutine der durch 
die strukturbildende Operation erzeugten Objekte unter 

10 Verwendung der Zielklasse, um diejenigen durch die 
strukturbildende Operation erzeugten Objekte, von denen die 
zugrunde. liegenden Keimobjekte.. und Kandidatenobjekte in 
Bezug auf die Zielklasse eine vorbestimmte Bedingung 
erfiillen, als neue Keimobjekte bestimmt werden, wobei 

15 jeweilige durch die strukturbildende Operation erzeugten 
Objekte lediglich dann definitiv bestehen bleiben, wenn die 
vorbestimmte Bedingung erftillt ist; und 

iteratives Durchftihren der Schr.itte b) bis e) unter 
Verwendung der neuen Keimobjekte. 

20 

4. C ompu terpr og rammp r o du k t , . das direkt oder nach 
Durchfuhren einer vorbestimmten Routine indirekt im Zusam- 
menwirken mit einem Computer oder Computersystem ein Ver- 
fahren nach einem der Anspruche. 1 bis 3- durchftihrt. 
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